로지스틱(이중 분류) 회귀 시뮬레이션

How Logistic Regression Works

Logistic Regression은 입력값 \(x\)에 대해 클래스 1일 확률을 모델링하는 확률적 선형 모델입니다. 모델은 선형 결합 \(z = a x + b\) 을 만들고, 그 값을 시그모이드 함수 \(\sigma(z)\)로 변환하여 확률을 얻습니다:

\[ \hat{y} = \sigma(z) = \sigma(ax + b) = \frac{1}{1 + e^{-(ax+b)}} \]

손실 함수 — Binary Cross-Entropy (Log Loss)

예측 확률 \(\hat{y}_i\)와 실제 레이블 \(y_i \in \{0,1\}\)에 대해 한 샘플의 손실은 아래와 같아요. \[ (\ell_i = -\big( y_i \log\hat{y}_i + (1-y_i)\log(1-\hat{y}_i)\big)\) \] 전체 데이터(샘플 수 \(n\))에 대한 평균 손실(목표 함수)은

\[ L(a,b) = -\frac{1}{n}\sum_{i=1}^{n}\Big(y_i\log\hat{y}_i + (1-y_i)\log(1-\hat{y}_i)\Big). \]

경사(Gradient) 유도 — 파라미터 업데이트 법

경사하강법을 위해 파라미터에 대한 편미분을 계산하면 (간단히 표기),

\[ \frac{\partial L}{\partial a} = \frac{1}{n}\sum_{i=1}^n (\hat{y}_i - y_i)\, x_i,\qquad \frac{\partial L}{\partial b} = \frac{1}{n}\sum_{i=1}^n (\hat{y}_i - y_i). \]

따라서 학습률 \(lr\)을 사용한 한 스텝 업데이트는

\[ a \leftarrow a - lr\cdot\frac{\partial L}{\partial a},\qquad b \leftarrow b - lr\cdot\frac{\partial L}{\partial b}. \]

벡터화 표현

입력을 행렬/벡터로 정리하면 더 간결합니다. 행렬 \(X\in\mathbb{R}^{n\times d}\)와 파라미터 벡터 \(\mathbf{w}\) (여기서는 \(d=1\))에 대해 \(\hat{\mathbf{y}}=\sigma(X\mathbf{w}+b)\)이고, 그라디언트는 \(\frac{1}{n}X^\top(\hat{\mathbf{y}}-\mathbf{y})\) 입니다. (코드에서 이 계산을 루프 대신 한 번에 처리하면 효율적입니다.)

수치 안정성 팁

• \(\log\) 계산 시 \(\log(0)\) 문제를 피하려면 \(\hat{y}\)에 작은 값 \(\epsilon\)을 더하세요: \(\log(\hat{y}+\epsilon)\).
• 시그모이드 계산에서 큰 음수/양수 입력이 있으면 오버플로우/언더플로우가 발생할 수 있습니다. 필요하면 클리핑하거나 안정화된 수식을 사용하세요.

결정 경계 (Decision boundary)

Logistic Regression의 결정 경계는 \(ax+b=0\) 입니다. 1차원에서는 임계값 \(x^* = -b/a\)로 단순하게 표현됩니다. 즉 \(x>x^*\)이면 \(a>0\)일 때 클래스1 쪽 확률이 커집니다.

학습 방식(SGD·배치)

앞서 선형 회귀 시뮬레이션에선 즉시 계산과 배치 경사하강법, 확률적 경사하강법을 선택할 수 있었습니다. 하지만 로지스틱 회귀에선 즉시 계산을 할 수 있는 계산법이 존재하지 않습니다. 그리고 선형 회귀 시뮬레이션을 해보셨다면 아시겠지만 확률적 경사하강법 보다는 배치 경사하강법이 가장 안정적인 수렴을 이룰 수 있습니다. 로지스틱 회귀 시뮬레이션에선 배치 경사하강법을 통한 시뮬레이션만 보여드립니다.