[통계 기초] 신뢰 구간과 가설 검정, 유의 확률 (Confidence interval, Hypothesis testing, P-value)

신뢰 구간 (Confidence interval)

정의

특정 parameter θ에 대한 1-α confidence interval은 아래와 같이 정의 된다.

신뢰 구간 (Confidence interval)

 

이때 조심해야할 점은 parameter θ (ex. population mean)은 고정된 값이며, 변할 수 있는 값은 confidence interval이라는 점이다.

그래서 95% 신뢰 구간의 경우, 100개의 confidence intervals를 만든다고 했을 때 평균적으로 95개의 confidence intervals가 true θ를 포함할 것이라는 의미로 해석할 수 있다.

 

Normal-based Confidence Interval

특정 parameter θ에 대한 estimator θ hat이 다음의 정규 분포(normal distribution)를 따른다고 할 때,

Confidence interval은 다음과 같이 정의된다.

 

신뢰 구간과 가설 검정

신뢰 구간은 '범위'에 초점을 맞추고, 가설 검정은 '두 가설 중 선택'에 초점을 맞춘다. 이때 신뢰 구간 및 가설 검정에서 거리를 나타내는 표준편차는 같기 때문에 서로 같은 의미를 내포한다. 예를 들어, population mean(μ)이 30과 같은지 혹은 다른지를 검정하기 위해 데이터를 바탕으로 95% 신뢰 구간을 구해볼 수 있다. Sample mean(데이터의 평균)의 경우 central limit theorem에 따라 각 데이터를 독립적으로 구했을 때 정규 분포(normal distribution)을 따르게 된다 (아래 그림 참조). 만약 구한 신뢰구간 내에 30이 포함되지 않는다면 population mean(μ)이 30이 아니라는 쪽으로 가능성을 둘 수 있다. 즉, Population mean이 0이라는 H0를 level alpha=0.05에서 기각할 수 있다 (p-value < 0.05).

 

 

가설 검정 (Hypothesis testing)

과정

귀무 가설 (Null hypotesis, H0)와 대립 가설 (Alternative hypothesis, H1)을 설정한다. 1) 귀무 가설이 맞다는 가정 하에 분석을 진행했을 때, 2) evidence가 충분하지 않다면 이를 기각하고 대립 가설을 채택한다.

 

1) 이때 분석이라는 것은 데이터로부터 검정 통계량을 계산하는 것이고, 분석에 따라 사용되는 검정 통계량의 종류가 달라진다.

 

2) Evidence는 귀무 가설을 맞다는 가정 하에 계산된 검정 통계량 값이 나올 수 있는 확률이 얼마인지 살펴봄으로써 구한다. 만약 이 결과가 굉장히 드문 확률로만 나온다면 귀무 가설을 기각할 수 있는 것이다.

이때 유의 확률(p-value)이란 귀무 가설이 참이라는 가정 하에서, 표본으로부터 계산된 검정 통계량보다 더 극단의 값을 얻을 확률을 의미한다. 이 유의 확률을 미리 설정한 유의 수준(α)과 비교하여 그보다 아래이면 귀무 가설(H0)을 기각하고 대립 가설(H1)을 채택한다.

 

즉, (1) 귀무 가설이 참이라는 가정 하에 (2) 데이터로부터 특정 분포를 따르는 확률 변수의 값을 계산하고 (3) 이로부터 유의 확률을 계산하여 검정하는 것이다.

이때, 모수 검정(parametric methods)은 분석 데이터가 나온 모집단이 특정 확률분포를 따른다는 가정이 추가로 필요하며 (그를 위해 정규성 검정 등을 한다), 비모수 검정 (non-parametric methods)은 그런 가정이 필요 없다.

 

유의 확률 (P-value)에 대한 중요한 성질

1. 유의 확률은 null hypothesis가 true일 확률이 아니다 ( not Pr(H0|Data) )
   • 만약에 null hypothesis가 true일 확률이라고 한다면 null hypothesis를 가정한 상황에서 유의 확률은 항상 1이 된다.
   • 유의 확률은 Pr(T>=T(x) | H0)로 이해해야 한다: H0가 true라고 가정했을 때, 계산한 test statistics T(x)와 같거나 더 극한의 값이 나올 확률
2. 유의 확률은 unter the null에서 uniform(0,1) distribution을 가진다.
   • 그래서 P-value < α에서 H0를 기각한다면, type I error의 확률도 α가 된다: P(p-value<α)=α
   • 100개의 true null을 α=0.05에서 test한다면 평균 5개의 false positive가 생성될 수 있다.
3. 유의 확률은 데이터와 귀무가설이 어느 정도 적합한지 아닌지를 나타낼 뿐, 실제 효과의 크기를 나타내지는 않는다. 그러므로 유의 확률만 있으면 된다는 태도는 지양할 필요가 있다 (참고: 유의 확률 해석에 대한 6가지 원칙).

 

결과가 유의하지 않을 때

결과가 유의하지 않더라고 하더라도 (P-value < 0.05) "Although this did not reach statistical significance, ~" 이 문장과 같이 어떤 식의 차이는 보였다 정도의 서술 등도 가능하다.

 

Reference

• Wasserman, L. (2004). All of Statistics: A concise course in statistical inference.
• 통계학 도감