개요
필자만 몰랐을 수도 있지만 머신러닝 공부하다 등장하는 L1 loss, L2 loss의 개념을 정리해둔다.
L1 loss
$$ S = \sum_{i=0}^n |y_i – h(x_i)| $$
L2 loss
$$ S = \sum_{i=0}^n (y_i – h(x_i))^2 $$
두 loss의 특징
사실 Formular는 매우 간단해서 위의 수식에 대한 이해 보다는 해석이 더 중요할듯 하다.
L1 loss는 더 안정적이고 아웃라이어에 영향을 덜 받는 경향이 있다. 반면에 L2 loss는 모델의 피팅이 다른 중요한 샘플들이 많이 있더라도 아웃라이어 값에 더 의존적인 경향이 있다.(오차가 큰것이 제곱되니까) 따라서, L2 loss는 데이터셋의 아웃라이어에 매우 민감하다.