Decision Tree

의사결정 규칙을 나무 구조(Tree)로 도표화하여 분류와 예측을 수행하는 분석 방법

• 데이터들의 속성을 기반으로 분할 기준을 판결하고, 분할 기준에 따라 트리 형태로 분기하여 모델링
• 데이터 분석 결과가 의사결정 나무의 분기점을 통해 시각적으로 확인할 수 있어 해석이 용이

과정

의사결정 나무 형성

• 분리 규칙(Splitting Rule)
• 분리 기준(Splitting Criterion)
  • 이산형 목표 변수: 카이제곱 통계량의 p-값, 지니 지수, 엔트로피 지수 등
  • 연속형 목표 변수: 분산 분석의 F-통계량, 분산의 감소량
• 정지 규칙(Stopping Rule): 더 이상 분기 되지 않고 끝마디가 되도록 하는 규칙
• 리프 노드당 최소 수(Minimum Number per Leaf): 리프가 가져야 하는 최소 샘플 수. 이 이하인 경우 분기되지 않는다.
  • 최소 수가 너무 작은 경우: 트리가 많이 분기되므로 트리가 매우 깊어지고 과적합이 발생할 수 있다.
  • 최소 수가 너무 큰 경우: 트리가 너무 분기되지 않아 과소적합(underfit)이 발생할 수 있다.

가지치기

• 에러 감소 가지치기(Reduced Error Pruning): 오류가 더 이상 줄어들지 않을 때 까지 반복
• 룰 포스트 가지치기(Rule Post Pruning): 정확도가 낮은 순서대로 제거
  • 과적합 문제 방지를 위해 사전(pre-pruning) 가지치기, 사후(post-pruning) 가지치기 수행

타당성 평가

• 이익 도표(Gains Chart)
• 위험 도표(Risk Chart)
• 검정 자료(Test Data)
• 교차 검증(Cross Validation)

해석 및 예측

구성요소

활용 알고리즘

장단점

• 장점
  • 이해하기 쉬운 모델 형태
  • 여러 변수의 영향도 파악 용이
  • 계산복잡성 대비 높은 예측 성능
  • 분류(classification)와 회귀(regression) 모두 가능

→ 범주나 연속형 수치 모두 예측

• 단점
  • 최적해를 보장하지 못함(Greedy 알고리즘)
  • 비연속성 분류
  • 결정경계(decision boundary)가 데이터 축에 수직인 데이터에만 최적화

최적화

가지치기

Pruning

• 대부분의 경우 가지치기를 하는 것이 정확도가 높아진다.
• 이미 모든 독립 변수가 목표 변수와 연관성이 확실하게 입증된 데이터를 쓴 경우라면 모르겠으나, 보통은 모델을 만들기 전에는 알 수 없기 때문에 불필요한 변수가 섞여 있는 것이 일반적이다.
• 불필요한 과적합을 줄이고 정확도를 올리기 위해 연관성이 작거나 없는 변수들을 제거해주는 것이 좋다.

최소 샘플 수

Minimum Number per Leaf; Minimum Number of Samples; Minimum Number of Objects

• 트리를 얼마나 분기를 많이 시켜서 깊은 트리로 만들지를 결정하는 파라미터이다.
• 데이터마다 매우 다른 최적 값이 있으므로 찾아야 한다. 너무 커지거나 작아지면 과소적합 또는 과적합이 필연적으로 발생한다.
• 보통 데이터 샘플 수의 10%정도로 시작을 해보고, 크게 줄이거나 늘리다가 정확도가 높아지는 지점이 보이면 그 지점에서는 좀 더 작은 차이로 실험을 계속하다 보면 양상이 보인다. 너무 들쭉날쭉 하다면 좋은 데이터가 아닐 확률이 높다. 항상 특정 지점에서 가장 높고 그보다 작거나 같다고 낮아지는 그런 예쁜 그래프가 나오진 않는다. 예를 들어 10에서 100까지 올라가면서 점점 정확도가 높아지다가 100 이상이 되면 점점 정확도가 떨어지는데 500 부근에서 갑자기 튀거나 할 수 있다. 아래와 같이 부드럽고 일정한 그래프가 아니므로 다양한 학습 데이터와 다양한 파라미터 조정을 통해 최적의 값을 찾아 나갈 필요가 있다.