[통계 기초] Type 1 error와 Type 2 error (false positive와 false negative)

다음의 4가지 경우를 생각해볼 수 있다.

	H0 is True	H0 is False
Reject H0	False positive (유의하다고 했는데 틀림)	True positive (유의하다고 했는데 맞음)
Accept H0	True negative (유의하지 않다고 했는데 맞음)	False negative (유의하지 않다고 했는데 틀림)

 

  이때 False positive를 Type 1 error라고 하고, False negative를 Type 2 error라고 한다. Sensitivity는 실제로 유의한 것을 유의하다고 말하는 비율로서, TP/(TP+FN)으로 계산된다. 한편, specificity는 실제로 유의하지 않은 것을 아니라고 말하는 비율로서, TN/(TN+FP)로 계산된다.

 

  우리는 false positive와 false negative를 모두 줄이고 싶지만, 둘 다 줄이는 것은 불가능하다. 예를 들어, 유의하다고 했는데 사실 아닌 것(false positive, type 1 errors)을 줄이려면 더 엄격한 기준으로 판단을 하면 된다 (Specificity가 늘어남, 억울한 일이 최대한 없어짐). 하지만 더 염격한 기준을 적용하면 사실 유의한데도 불구하고 뽑히지 않는 경우(false negative, type 2 errors)가 더 늘어나게 된다 (Sensitivity 감소).

  반대로 유의한 것은 모두 뽑고자 덜 엄격한 기준을 적용하면 검정력(Sensitivity)은 높아지지만 (false negative가 줄어듬), 유의하다고 했지만 실제로는 아닌 경우(false positive)도 늘어나게 된다 (Specificity 감소, 억울한 일이 생길 수 있음).

 

  예를 들어 설명하면, 코로나 검사 키트가 specificity가 높다면, 양성이라고 떴을 때 대부분 실제로 양성이지만 (type I error, false positive가 낮다, 억울 X), 음성이라고 해서 안심해서는 안된다.

  반대로, sensitivity가 높다면, 양성인 case를 최대한 많이 발견할 수 있지만 (type II error, false negative가 낮다), 실제로는 음성인데 양성으로 잘못 판정될 위험이 존재한다 (억울)

 

  그래서 가장 minimum한 값을 갖도록 level of significance를 정하는 것이 좋다 (H0의 분포와 H1의 분포가 서로 만나는 점).

  하지만 통계학에서는 일반적으로 false positive를 더 중요시 하기 때문에 (억울한 case가 최대한 없도록) false positive가 모든 가설 검정의 기반이 된다. 그래서 false positive에 대한 허용 가능한 수준을 미리 정하고 (α), 그 중 false negative가 가장 적도록 하는 방식이 일반적이다.