Qwen

/

Qwen2-7B-Instruct-GPTQ-Int8

like 16

Follow

Qwen 1,849

"use_exllama": true 看到config文件中，在训练的时候用到use_exllama，这个设置true，有用吗？参数介绍中说到，这个参数只有在4int量化的时候才有用。