단원 정리

이번 단원에서는 🤗 Transformers의 하이레벨 함수인 pipeline() 를 사용하여 다양한 NLP 문제에 대한 접근 방식을 배웠습니다. 그리고 Hub에서 모델을 검색하여 사용하는 방법, 추론 API를 이용해 브라우저 상에서 바로 모델을 테스트 하는 방법 또한 알아보았습니다.

지금까지 트랜스포머 모델의 대략작인 동작 방식과, 전이 학습(transfer learning) 및 미세 조정(fine-tuning)의 중요성에 알아보았습니다. 핵심은 어떤 문제를 풀고싶냐에 따라 전체 모델 구조를 다 사용하거나 인코더, 디코더만 사용할 수도 있다는 것입니다. 아래 표는 이를 요약해서 보여주고 있습니다:

Model	Examples	Tasks
인코더	ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa	문장 분류, 개체명 인식, 추출 질의 응답
디코더	CTRL, GPT, GPT-2, Transformer XL	텍스트 생성
인코더-디코더	BART, T5, Marian, mBART	오약, 번역, 생성 질의 응답