유의 수준(significance level, α)은 통계적 가설 검정에서 귀무가설(null hypothesis, H0)을 기각할 기준이 되는 임계값이다. 보통 0.05, 0.01, 0.10과 같은 값을 사용하며, 제1종 오류(Type I error)를 허용하는 최대 확률을 의미한다.
개념
유의 수준은 "귀무가설이 참일 때, 이를 기각할 확률이 얼마나 되어야 괜찮다고 판단할 것인가?"를 정하는 기준이다.
- α = 0.05일 경우, 귀무가설이 참임에도 불구하고 5%의 확률로 기각될 수 있다는 것을 허용
- 즉, p값 ≤ α이면 귀무가설을 기각하고, 그렇지 않으면 기각하지 않는다
예시
어떤 신약이 기존 약보다 효과가 있는지를 검정할 때:
- 귀무가설: 신약은 기존 약과 효과가 같다
- 대립가설: 신약은 기존 약보다 효과가 다르다
- 유의 수준: α = 0.05
- 계산된 p값이 0.02 → 0.02 < 0.05 → 귀무가설 기각
이는 "귀무가설이 맞다고 가정할 때 지금처럼 극단적인 데이터가 나올 확률이 2%에 불과하므로, 귀무가설을 기각한다"는 의미다.
유의 수준 선택의 기준
- α = 0.05: 일반적으로 가장 많이 사용되는 기준
- α = 0.01: 신중한 검정이 필요할 때 (예: 신약 승인, 항공 안전 등)
- α = 0.10: 상대적으로 보수적이지 않은 분야에서 사용 가능
제1종 오류와의 관계
- 제1종 오류(Type I error): 사실인 귀무가설을 기각하는 오류
- 유의 수준 α는 제1종 오류를 허용하는 최대 확률
→ α = P(기각 | 귀무가설이 참)
오해 피하기
- 유의 수준은 데이터에서 나온 값이 아니라, 분석 전에 정하는 기준값이다
- 유의 수준은 귀무가설이 참일 확률이 아니다
같이 보기
참고 문헌
- Wasserman, L. (2004). All of Statistics: A Concise Course in Statistical Inference. Springer.
- Moore, D. S., McCabe, G. P., & Craig, B. A. (2012). Introduction to the Practice of Statistics. W. H. Freeman.