このモデルはコンペティションのために開発されたモデルです。
推論方法
まず、llama-cpp-pythonをインストールしてください。 その後推論用ライブラリをセットアップします。
git clone https://github.com/weak-kajuma/inference-for-llm-class.git
cd inference-for-llm-class
pip install datasets
次に、モデルをダウンロードします。
# GPUによって量子化サイズや次のセクションの`--ngl`を選んでください。
wget https://huggingface.co./kajuma/gemma-2-27b-instruct/resolve/main/Gemma-2-27B-Instruct_Q6_K.gguf
推論プログラムを実行します。
python answer_llama_cpp.py --model Gemma-2-27B-Instruct_Q6_K.gguf --ngl 46 --data_file data.jsonl
ただしdata.jsonl
のフォーマットは以下の通りです。
{"task_id": 0, "input": "質問"}
推論後output.jsonl
が作成されます。
- Downloads last month
- 392
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.
Model tree for kajuma/gemma-2-27b-instruct
Base model
google/gemma-2-27b