Calibration Plot; Calibration Curve
캘리브레이션 플롯은 머신 러닝 등의 예측 모델에서 예측 확률이 실제 결과와 얼마나 잘 일치하는지를 평가하기 위해 사용되는 도구이다. 특히 확률적 예측 모델에서 유용하며, 분류 모델의 신뢰도를 평가하는 데 자주 활용된다.
Calibration Plot의 구성
- X축: 모델의 예측 확률 (예: 0.0에서 1.0 사이의 값)
- Y축: 실제 관찰된 빈도(또는 확률)
일반적으로, 예측이 잘 조정된 모델일수록 X축과 Y축이 일치하여, 그래프는 45도 대각선에 가까워진다. 이를 완벽하게 보정된 모델이라고 하며, 모델이 0.7의 확률로 예측하면 실제 결과도 약 70% 정도로 맞아떨어져야 한다.
Calibration Plot의 해석
- Underconfident 모델: 예측 확률이 실제보다 낮아 그래프가 45도 대각선 아래로 형성된다.
- Overconfident 모델: 예측 확률이 실제보다 높아 그래프가 45도 대각선 위쪽으로 나타난다.
- 잘 보정된 모델: 그래프가 45도 대각선과 거의 일치한다.