IT용어위키


드롭아웃


동작 Drop-out; Dropout
딥러닝 시 오버피팅 문제를 해결하기 위해 노드 중 일부를 제거하는 인공지능 최적 학습기법

드롭아웃의 목적

목적 구분 설명
과적합 문제 해결
  • 신경망 비대 시 high variance 문제 해결
  • Voting 효과로 정규화 유사 효과 가능
Co-adaptation 회피
  • 특정 뉴런의 가중치나 영향 감소
  • 강건한 신경망 구성 가능

동작 과정

개념도 드롭아웃 전후 예시.png
동작
  1. 입력층과 은닉층의 임의 노드 선택 및 제거
    • 확률 p를 기준으로 제거
  2. 임의 노드 제거 상태에서 학습 수행
  3. 실제 테스트 시 제거 노드 복원 및 가중치 연산
    • 가중치에 확률 p를 곱하여 결과 보상

문제점 및 해결방안

  • (문제점) : 신경망 학습속도 저하
  • (해결방안) : 배치 정규화와 함께 수행하여 속도 향상

참고 문헌

  출처: IT위키(IT위키에서 최신 문서 보기)
  * 본 페이지는 공대위키에서 미러링된 페이지입니다. 일부 오류나 표현의 누락이 있을 수 있습니다. 원본 문서는 공대위키에서 확인하세요!