손실 함수(損失函數, loss function)는 머신 러닝이나 통계학 등에서 예측값과 실제값 간의 차이를 수치적으로 표현하는 함수이다.
개요
손실 함수는 모델이 얼마나 잘 작동하고 있는지를 평가하기 위한 기준으로 사용된다. 주어진 입력에 대해 모델이 출력한 예측값과 실제 정답 값 사이의 오차를 계산하며, 이 값을 최소화하는 방향으로 모델이 학습된다. 손실 함수는 지도 학습에서 특히 중요하게 사용되며, 회귀 문제와 분류 문제에 따라 적합한 손실 함수가 달라진다.
종류
회귀 문제에서의 손실 함수
- 평균 제곱 오차(Mean Squared Error, MSE)
- 평균 절대 오차(Mean Absolute Error, MAE)
- 후버 손실(Huber Loss)
분류 문제에서의 손실 함수
- 이진 교차 엔트로피(Binary Cross Entropy)
- 범주형 교차 엔트로피(Categorical Cross Entropy)
- 스팟맥스 손실(Softmax Loss)
수학적 정의
손실 함수는 예측값과 실제값을 입력받아 손실값을 반환하는 함수이다. 예를 들어, 평균 제곱 오차는 각 데이터 샘플에서 실제값과 예측값의 차이를 제곱하여 평균을 낸 값이다.
사용 예
딥러닝에서 손실 함수는 역전파 과정에서 그래디언트를 계산하는 데 사용된다. 손실 함수의 값이 작을수록 모델이 더 정확하게 예측하고 있다는 의미이며, 학습의 목적은 손실 값을 최소화하는 모델 파라미터를 찾는 것이다.
같이 보기
참고 문헌
- Goodfellow, Ian, et al. Deep Learning. MIT Press, 2016.
- Bishop, Christopher M. Pattern Recognition and Machine Learning. Springer, 2006.