Update README.md
Browse files
README.md
CHANGED
@@ -20,7 +20,7 @@ CUDA_VISIBLE_DEVICES=0 ./llama.cpp/llama.cpp/build/bin/llama-server \
|
|
20 |
-ngl 10 -ngld 10 -e --temp 0 -fa -c 4096 \
|
21 |
--draft-max 16 --draft-min 5
|
22 |
```
|
23 |
-
私のテストプロンプトの実行時間: 2520.65秒
|
24 |
My test prompt execution time: 2520.65 seconds
|
25 |
|
26 |
|
@@ -31,10 +31,14 @@ CUDA_VISIBLE_DEVICES=0 ./llama.cpp/llama.cpp/build/bin/llama-server \
|
|
31 |
-m ./llama.cpp/qwen/32B/Qwen2.5-32B-Instruct-Q8_0-f16.gguf \
|
32 |
-ngl 10 -e --temp 0 -fa -c 4096
|
33 |
```
|
34 |
-
私のテストプロンプトの実行時間: 3240.36秒
|
35 |
My test prompt execution time: 3240.36 seconds
|
36 |
|
37 |
|
38 |
-
|
39 |
-
|
|
|
|
|
|
|
|
|
40 |
|
|
|
20 |
-ngl 10 -ngld 10 -e --temp 0 -fa -c 4096 \
|
21 |
--draft-max 16 --draft-min 5
|
22 |
```
|
23 |
+
私のテストプロンプトの実行時間: 2520.65秒
|
24 |
My test prompt execution time: 2520.65 seconds
|
25 |
|
26 |
|
|
|
31 |
-m ./llama.cpp/qwen/32B/Qwen2.5-32B-Instruct-Q8_0-f16.gguf \
|
32 |
-ngl 10 -e --temp 0 -fa -c 4096
|
33 |
```
|
34 |
+
私のテストプロンプトの実行時間: 3240.36秒
|
35 |
My test prompt execution time: 3240.36 seconds
|
36 |
|
37 |
|
38 |
+
クライアントスクリプトの例は[dahara1/Qwen2.5-3B-Instruct-gguf-japanese-imatrix-128K](https://huggingface.co/dahara1/Qwen2.5-3B-Instruct-gguf-japanese-imatrix-128K)をご覧ください
|
39 |
+
See [dahara1/Qwen2.5-3B-Instruct-gguf-japanese-imatrix-128K](https://huggingface.co/dahara1/Qwen2.5-3B-Instruct-gguf-japanese-imatrix-128K) for cliant example.
|
40 |
+
|
41 |
+
|
42 |
+
コマンドの詳細は[llama.cppの公式ページ](https://github.com/ggerganov/llama.cpp/pull/10455)をご覧ください
|
43 |
+
For more command information, see the official [llama.cpp page](https://github.com/ggerganov/llama.cpp/pull/10455).
|
44 |
|