Vigostral-7b-Chat GGUF

Conversion du modèle vigostral-7b-chat au format GGUF

Lien du modèle original: https://huggingface.co./bofenghuang/vigostral-7b-chat/

Le projet llama.cpp (pour l'inférence): https://github.com/ggerganov/llama.cpp/

Les modèles ont dans leur nom un suffixe qui définit la quantification.

La perte de qualité est tirée de la documentation de llama.cpp et a été calculée par la variation de la perplexité (ppl) sur le modèle LLaMA-v1-7B. Elle n'est donc fournie ici que pour donner une approximation de la perte rééle.

Downloads last month
23
GGUF
Model size
7.24B params
Architecture
llama

4-bit

5-bit

6-bit

8-bit

Inference Examples
Unable to determine this model's library. Check the docs .