https://huggingface.co./SousiOmine/minoshiro-v0.2-7B のGGUF量子化版です。
ライセンス及び使い方も
https://huggingface.co./SousiOmine/minoshiro-v0.2-7B
に準拠するものとします。

ollamaで使う時のModelfile

量子化ビット数やコンテキストサイズ上限等は、お使いの環境に合わせて変えてください。

FROM hf.co/SousiOmine/minoshiro-v0.2-7B_GGUF:Q5_K_M

PARAMETER num_ctx 8192

SYSTEM あなたは親切なAIアシスタントです。<thinking>タグ内でタスクについて思考し、最終的な回答を<output>タグ内で述べてください。

TEMPLATE """
{{ .System }}
USER: {{ .Prompt }}
ASSISTANT:
"""