tokyotech-llm

/

Llama-3-Swallow-70B-Instruct-v0.1

like 7

Follow

tokyotech-llm 67

(See also the PR with the same content in the 8B repository: https://huggingface.co./tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1/discussions/1 )

For ease of use, I propose adding the <|eot_id|> token (ID: 128009) to the eos_token_id in the generation_config.json file.

Usage によると、 Instruction モデルではデフォルトの EOS トークン以外に <|eot_id|> (id: 128009) でも止めるような設定で生成するように指定されているかと思います。

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)

meta-llama/Meta-Llama-3-8B-Instruct と同様、128009 を generation_conifg.json の eos_token_id に追加するとデフォルトで <|eot_id|> で生成処理が止まるようになって便利そうですが、いかがでしょうか？
VLLM でも現在は generation_config.json の eos_token_id を読み出せる仕様になっているようですので、実行時に stop="<|eot_id|>" を指定する必要がなくなります。
https://github.com/vllm-project/vllm/pull/4182