Hugging Face's logo

shenzhi-wang
/
Llama3.1-70B-Chinese-Chat

Text Generation
Transformers
Safetensors
GGUF
English
Chinese
llama
llama-factory
orpo
conversational
text-generation-inference
Inference Endpoints
Model card Files Community
10

有可能出一个70B的AWQ或者GPTQ-INT4的量化版本吗？

#4
by weiminw - opened
Discussion
weiminw

非常感谢你的工作，在一个80G的H100上，70B的int4 的性价比相对比较好，是否可以出一个呢？

iwaitu

我量化了一个，iwaitu/llama-3.1-70b-chinese-chat-AWQ-4bit

Superskyyy

求个8bit的版本

iwaitu

FP8 已经有了

Sign up or log in to comment