cicdatopea
commited on
Update README.md
Browse files
README.md
CHANGED
@@ -16,7 +16,7 @@ Please follow the [Build llama.cpp locally](https://github.com/ggerganov/llama.c
|
|
16 |
### INT4 Inference
|
17 |
```bash
|
18 |
text="为什么企鹅没有被北极熊吃掉?"
|
19 |
-
./
|
20 |
|
21 |
# INT4:
|
22 |
# 我正在尝试理解为什么企鹅没有被北极熊吃掉。这是一个有趣的问题,让我思考一下。
|
|
|
16 |
### INT4 Inference
|
17 |
```bash
|
18 |
text="为什么企鹅没有被北极熊吃掉?"
|
19 |
+
./llama-cli -m SmallThinker-3B-Preview-3.1B-Q4_0.gguf -p "Human:You are a helpful and harmless assistant.You should think step-by-step.$text\nAssistant:\n" -n 512
|
20 |
|
21 |
# INT4:
|
22 |
# 我正在尝试理解为什么企鹅没有被北极熊吃掉。这是一个有趣的问题,让我思考一下。
|