깁스 분포(Gibbs distribution, Gibbs measure)는 통계역학, 확률 이론, 기계 학습 등에서 많이 쓰이는 확률 분포로, 상태의 에너지(또는 비용)에 따라 확률을 배정하는 지수 형태 확률 분포이다.
정의
깁스 분포는 상태 공간 \(\mathcal{X}\) 위에서 정의되고, 각 상태 \(x \in \mathcal{X}\)에 대응하는 에너지 함수 \(E(x)\)가 있을 때 다음과 같은 꼴을 가진다:
\[ P(x) = \frac{1}{Z} \exp\bigl( -\beta\, E(x) \bigr) \]
여기서
- \(\beta = \frac{1}{k_B T}\)는 역온도(inverse temperature), \(k_B\)는 볼츠만 상수, \(T\)는 절대온도이다.
- \(Z = \sum_{x \in \mathcal{X}} \exp(-\beta E(x))\)는 분배 함숫값(partition function)으로, 확률 분포로 정규화하기 위한 상수이다.
- 상태 공간이 연속일 경우에는 합(sum)이 적분(integral) 형태로 바뀐다.
이 분포는 통계역학의 정준 앙상블(canonical ensemble)에서 온도 \(T\) 하에 시스템이 특정 마이크로상태 \(x\)를 가질 확률을 나타낸다.
성질 및 특징
- 낮은 에너지 \(E(x)\)를 갖는 상태는 높은 확률을 갖고, 높은 에너지를 갖는 상태는 낮은 확률을 갖는다.
- \(\beta\) (또는 온도 \(T\))가 클수록 분포이 넓어지고 (모든 상태이 거의 균등 확률이 됨), \(\beta\)가 작아지면 극단적으로 최소 에너지 상태 쪽으로 확률이 집중된다.
- 지수 형태 분포이므로 많은 모델에서 자연스럽게 표현할 수 있다.
- 무한한 시스템이나 상호작용이 있는 시스템에서는 Gibbs measure 개념이 더 일반적인 형태로 확장된다.
- 마코프 성질(Markov property)을 만족하는 확률 분포가 정(positive) 조건과 결합되면, 해머슬리-클리포드 정리(Hammersley–Clifford theorem)에 의해 해당 분포는 깁스 분포의 형태로 표현될 수 있다. [1]
응용
- 에너지 기반 모델(Energy-based models): 머신 러닝에서 확률 모델을 구성할 때, 상태 에너지를 정의하고 깁스 분포을 기준 분포로 사용
- 마르코프 랜덤 필드(Markov Random Fields) / 조건부 랜덤 필드(CRF): 그래프 구조 확률 모델에서 국부 에너지 함수로 깁스 분포를 활용
- 시뮬레이티드 어닐링(Simulated Annealing): 온도를 점차 낮추면서 깁스 분포를 따라 샘플링하여 전역 최적화 문제를 푸는 알고리즘
- 샘플링 알고리즘: 메트로폴리스-해이스팅스, 깁스 샘플링 등 MCMC 기법에서 표적 분포로 깁스 분포를 사용
확장 및 일반화
- 부분적 상호작용 모델: 에너지 함수가 국소 상호작용 항들의 합으로 표현되는 경우, 깁스 분포이 국소 클리크(clique) 구조를 반영하여 분해될 수 있다.
- 무한 시스템: 유한 상태 공간을 넘어 격자(lattice) 등 무한 구조에서는 Gibbs measure 개념이 필요하다.
- 외부 조건(boundary condition)과 경계 효과(boundary effects)에 따라 여러 Gibbs 상태가 있을 수 있다 (상전이 현상)
같이 보기
참고 문헌
각주
- ↑ “Hammersley–Clifford theorem”, Wikipedia