Live Session 0622

Underprediction

\(t_{i}\): target label(i-th sample)
\(y_{i}\): model’s prediction

underprediction: \(t_i > y_i\)
overprediction: \(t_i < y_i\)

loss function을 만들때,
\(t_i > y_i \rightarrow (t_i - y_i)^2\)
\(t_i < y_i \rightarrow \frac{1}{2}(t_i - y_i)^2\)

max를 활용해서 가능하다.
t_i > y_i 인 경우 0보다 크게 되고 반대는 0이 된다.

\[\frac{1}{N}\sum_{i=1}^{N}\left( max\{0, t_i-y_i\}^2 + \frac{1}{2}max\{0, y_i - t_i\}^2\right)\]

hinge loss

overprediction: \(\frac{1}{2}max\{0, y_i - t_i\}^2\)은 0.5의 가중치가 주어졌다.

0.5의 값은 hyperparameter로 보고 찾아야 하지만 많은 경우에는…

0.5로 설정한 이유는 업계에서 underprediction이 2배로 중요하기 때문에 practical 관점에서 선택한 것이다.