Transfer Leaning

특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법

구성 및 절차

구성

• 업스트림(upstream) 태스크: 먼저 이루어진 학습
• 다운스트림(downstream) 태스크: 모델이 전이되어 이루어지는 학습
• 프리트레인(pretrain): 업스트림 태스크를 학습하는 과정
• 파인튜닝(finetuning): 다운스트림 태스크를 학습하는 과정
  • 제로샷 러닝(zero-shot learning), 원샷 러닝(one-shot learning), 퓨샷 러닝(few-shot learning) 등으로도 불림

절차

업스트림 태스크

프리트레인(pretrain)된 모델이 해결하도록 학습된 태스크

다운스트림 태스크

프리트레인(pretrain)된 모델로부터 전이학습(transfer learning)을 통해 새롭게 해결하고자 하는 태스크

파인튜닝

• 파인튜닝(finetuning) : 다운스트림 태스크에 해당하는 데이터 전체를 사용합니다. 모델 전체를 다운스트림 데이터에 맞게 업데이트합니다.
• 제로샷러닝(zero-shot learning) : 다운스트림 태스크 데이터를 전혀 사용하지 않습니다. 모델이 바로 다운스트림 태스크를 수행합니다.
• 원샷러닝(one-shot learning) : 다운스트림 태스크 데이터를 한 건만 사용합니다. 모델 전체를 1건의 데이터에 맞게 업데이트합니다. 업테이트 없이 수행하는 원샷러닝도 있습니다. 모델이 1건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다.
• 퓨샷러닝(few-shot learning) : 다운스트림 태스크 데이터를 몇 건만 사용합니다. 모델 전체를 몇 건의 데이터에 맞게 업데이트합니다. 업데이트 없이 수행하는 퓨삿러닝도 있습니다. 모델이 몇 건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다.

활용 사례

• BERT(Bidirectional Encoder Representations from Transformers)
• GPT(Generative Pre-trained Transformer)

메타 러닝과의 차이

• 전이 학습을 메타 러닝의 한 방법으로 분류하는 경우도 있음

참고 문헌

• 트랜스퍼 러닝 (Transfer Learning)