轉換成GGUF後的使用問題
您好，我下載貴模型，轉換成GGUF格式後，以llama-cli直接下指令方式，如下..
./build/bin/llama-cli
-m /Users/XXXX/Documents/models/my_llama_model.gguf
-p "你好，世界！"
執行後的回應似乎都沒有EOS Token,但在轉換過程中有看到eos，節略轉換過程其中一段如下..
INFO:gguf.vocab:Setting special token type bos to 128000
INFO:gguf.vocab:Setting special token type eos to 128009
INFO:gguf.vocab:Setting special token type pad to 128009
我嘗試了各種方式，回覆仍然是亂七八糟的，能否請教可能的問題點？
Hi
@AtwoodYen
🖖
我確認一下，你是要跟模型對話還是？
如果是的話，請用 lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF 🤗
是的，要對話，我像是這樣子下(base) yenatwood@YendeMacBook-Air llama.cpp % ./build/bin/llama-cli
-m /Users/yenatwood/Documents/AI/self-hosted-ai-starter-kit/models/my_llama_model.gguf
-p "你好，世界！"
--n-predict 50
--logit-bias 128009+10
你好，世界！今天的媽！我好，別忘了？！你！我們不會怎麼是不是說了！我沒！？我家我也沒！什麼？今天，怎樣的說，現在什麼？
這是目前的回覆
是的，要對話，我像是這樣子下(base) yenatwood@YendeMacBook-Air llama.cpp % ./build/bin/llama-cli
-m /Users/yenatwood/Documents/AI/self-hosted-ai-starter-kit/models/my_llama_model.gguf
-p "你好，世界！"
--n-predict 50
--logit-bias 128009+10
Hi @AtwoodYen ，你可能誤會這個模型的用途，請用 lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF 。
能否請教為什麼我自己轉換後的GGUF的模型會出問題呢？
python3 ./convert_hf_to_gguf.py
/Users/yenatwood/Documents/AI/self-hosted-ai-starter-kit/Taiwan-LLM-7b-chat/
--outfile /Users/yenatwood/Documents/AI/self-hosted-ai-starter-kit/models/Taiwan_LLM_7B_model.gguf
這是我轉換的命令