미니배치 경사 하강법(Mini-Batch Gradient Descent)은 머신러닝 및 딥러닝에서 전체 훈련 데이터를 일정한 크기의 소규모 집합으로 나눈 후, 각 집합(미니배치)을 사용하여 손실 함수의 기울기를 계산하고 파라미터를 갱신하는 최적화 알고리즘이다.
개요
미니배치 경사 하강법은 배치 경사 하강법과 확률적 경사 하강법(SGD)의 절충안으로, 계산 효율성과 수렴 안정성 사이의 균형을 목표로 한다. 일반적으로 배치 크기(batch size)는 16, 32, 64, 128 등으로 설정된다.
작동 방식
전체 훈련 데이터를 동일한 크기의 미니배치로 나눈 뒤, 다음과 같은 절차를 반복한다.
- 미니배치 하나를 선택한다.
- 해당 미니배치에 대해 순전파와 역전파를 수행하여 평균 기울기를 계산한다.
- 계산된 기울기를 사용하여 모델의 파라미터를 갱신한다.
- 모든 미니배치에 대해 이 과정을 반복하면 에포크 1회가 완료된다.
특징
- 기울기 계산의 정확성과 계산 효율성을 동시에 확보할 수 있다.
- 하드웨어 병렬화(GPU) 환경에서 매우 효과적으로 작동한다.
- 적절한 미니배치 크기를 선택하면 일반화 성능이 향상될 수 있다.
- 배치가 너무 작거나 크면 각각 SGD 또는 전체 배치 경사 하강법의 단점이 드러날 수 있다.
장점과 단점
- 장점
- 계산 속도와 안정성 사이에서 균형을 제공한다.
- 학습이 빠르고 일반화 성능이 우수할 수 있다.
- 다양한 최신 최적화 기법(Adam, RMSprop 등)과 쉽게 결합된다.
- 단점
- 배치 크기 선택이 모델 성능에 영향을 미칠 수 있다.
- 미니배치 순서나 구성에 따라 수렴 경로가 달라질 수 있다.
- 작은 배치일수록 수렴이 불안정할 수 있고, 큰 배치는 메모리 부담이 크다.
비교
- 배치 경사 하강법은 전체 데이터를 사용하여 안정적인 수렴을 유도하나 계산량이 많다.
- 확률적 경사 하강법은 빠르지만 진동이 심하고 수렴이 불안정하다.
- 미니배치 경사 하강법은 두 방식의 장점을 절충하여 학습 효율성과 안정성을 모두 추구한다.
같이 보기
참고 문헌
- Ian Goodfellow, Yoshua Bengio, Aaron Courville, 《Deep Learning》, MIT Press
- Aurélien Géron, 《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》, O'Reilly Media