ONNX версия модели
Привет, будут ли выпущены ONNX версии модели? например O3, O4?
Да это возможно, возьмем в проработку. Спасибо,что пользуетесь нашим решением.
А GGUF не планируете сделать ? при попытке прогнать через gguf-my-repo ругается на отсутствие токенайзера:
INFO:hf-to-gguf:Set model tokenizer
Traceback (most recent call last):
File "/home/user/app/./llama.cpp/convert_hf_to_gguf.py", line 5140, in
main()
File "/home/user/app/./llama.cpp/convert_hf_to_gguf.py", line 5134, in main
model_instance.write()
File "/home/user/app/./llama.cpp/convert_hf_to_gguf.py", line 440, in write
self.prepare_metadata(vocab_only=False)
File "/home/user/app/./llama.cpp/convert_hf_to_gguf.py", line 433, in prepare_metadata
self.set_vocab()
File "/home/user/app/./llama.cpp/convert_hf_to_gguf.py", line 4316, in set_vocab
raise FileNotFoundError(f"File not found: {tokenizer_path}")
FileNotFoundError: File not found: downloads/tmpbc6nm1xl/FRIDA/spiece.model