neody
/

sarashina2.2-3b-instruct-v0.1-gguf

Inference Endpoints

Model card Files Files and versions Community

概要

Imatrixにはneody/imatrix_datasetを使用しました。

fineweb-edu(英語)とfineweb-2(日本語)からランダムに125件ずつ抽出したデータです。

wikitext2やcc100などを用いた従来のimatrixデータセットと比較してより高精度が維持できることが期待できるかもしれません。

より低いbitは精度維持が困難であるため作成しておりません。

使用方法

ollamaを使用する場合

ollama run hf.co/neody/sarashina2.2-3b-instruct-v0.1-gguf:Q5_K_M

Downloads last month: 894

GGUF

Model size

3.36B params

Architecture

llama

2-bit

3-bit

4-bit

5-bit

6-bit

8-bit

16-bit

Inference Providers NEW

This model is not currently available via any of the supported Inference Providers.

The model cannot be deployed to the HF Inference API: The model has no library tag.

Model tree for neody/sarashina2.2-3b-instruct-v0.1-gguf

Base model

sbintuitions/sarashina2.2-3b

Finetuned

sbintuitions/sarashina2.2-3b-instruct-v0.1

Quantized

(11)

this model

Dataset used to train neody/sarashina2.2-3b-instruct-v0.1-gguf