tokenizer config : model_max_length 의문

#2
by hundredeuk2 - opened

안녕하세요
네이버 부스트캠프 4기 nlp3조 부캠몬스터에서 모델 참조하려는데 의문점이 생겨서 남깁니다.
tokenizer에서 model max length default값이 비정상적으로 크게 찍히는 것 같습니다.

스크린샷 2022-12-27 오전 10.28.52.png

나온값은 int(1e30)으로 보입니다.

KPMG Lighthouse KR org

image.png
microsoft/mdeberta-v3-base의 tokenizer와 model_max_length가 같습니다.

image.png
microsoft/mdeberta-v3-base의 tokenizer와 model_max_length가 같습니다.

감사합니다!

hundredeuk2 changed discussion status to closed

Sign up or log in to comment