README.md

metadata

license: apache-2.0

从Llama-2-7b-hf，转换成gguf格式。

notebook:

quantize-llama-2-models-using-gguf

我使用作者的colab，做了一些调整，记得要T4，不然转换的时候会出错。

使用量化后gguf模型，进行推理测试.notebook:

量化大模型进行推理测试