请问模型有办法转成gguf吗？
#1
by
kefany
- opened
如题
目前我没有找到合适的办法，llama.cpp的README.md说是支持的，issue里搜rwkv看起来也确实支持，但是转换的时候却出问题了，我尝试修改映射也只是能转几层就出错，所以我不知道这个问题的答案
目前只能推荐考虑使用ai00量化和推理
好的，感谢。另外我想请问一下Seikaijyu/Sex-novel-filtered这个数据集是如何拿来微调的，是否需要先转换成对话形式呢？
不需要，直接加入微调语料