能否增加gguf版本的量化模型?

#5
by dzmfg - opened

gguf配合llama.cpp推理速度较快。

我喜欢用ollama使用模型,

Sign up or log in to comment