求一个低点量化版本q4
#1
by
willber
- opened
试用了一下，模型很不错。但是q8只能在4060ti16上跑，可以的话，希望有个q4版本，在mac上也跑一下看看。感谢作者。
q4啊，晚点我去量化一个，没啥问题
感谢作者，请问这个版本可以在4070tis+64g内存上流畅跑吗，非常感谢🙏
试用了一下，模型很不错。但是q8只能在4060ti16上跑，可以的话，希望有个q4版本，在mac上也跑一下看看。感谢作者。
q4啊，晚点我去量化一个，没啥问题
感谢作者，请问这个版本可以在4070tis+64g内存上流畅跑吗，非常感谢🙏