[통계 기초] 평균 제곱 오차 (Mean square error, MSE)

평균 제곱 오차 (Mean square error, MSE)

MSE란 estimator가 얼마나 잘 작동하는지를 알아보기 위한 측정값으로 작을수록 좋다.

이때 MSE는 bias와 variance로 decomposition 될 수 있다.

bias는 아래와 같이 정의되는데, bias가 0일 때 unbiased라고 한다 (θ hat의 expectation이 θ와 같으면 가장 좋겠지만 bias가 존재할 수 있다).

일반적으로 Estimator의 성능을 측정할 때 bias와 variance를 주로 보게 된다 (Low bias, Low variance가 가장 best).

 

이때 bias-variance tradeoff라는 개념이 존재하는데, bias를 줄이면 variance가 늘어나고 (Overfitting, 복잡한 모델), variance를 줄이면 bias가 늘어나는 (Underfitting, 단순한 모델) 특징을 말한다. 그래서 두 요인의 balance를 맞추는 모델을 만드는 것이 중요하다. 

 

 

Reference

• Wasserman, L. (2004). All of Statistics: A concise course in statistical inference.