단원 마무리 퀴즈

1. 언어 모델링 파이프라인은 어떤 순서로 진행될까요?

2. 기본 Transformer 모델에 의해 만들어지는 텐서의 출력은 몇 차원이며, 각 텐서가 무엇을 의미하나요?

3. 서브워드 토큰화 예시에 해당하는 것은 무엇인가요?

4. 모델 헤드가 무엇인가요?

5. AutoModel이 무엇인가요?

6. 길이가 다른 시퀀스를 하나의 배치로 만들 때 신경써야 할 부분은 무엇일까요?

7. 시퀀스 분류 모델의 로짓 출력 결과에 소프트맥스 함수를 적용하는 핵심적인 이유는 무엇일까요?

8. 토크나이저 API의 가장 핵심적인 메서드는 무엇일까요?

9. 아래 코드 예시에서 result 변수가 포함하고 있는 것은 무엇일까요?

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")

10. 아래 코드에서 잘못된 부분이 있을까요?

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)