Update Modelfile_Q4_K_M
Browse files- Modelfile_Q4_K_M +8 -4
Modelfile_Q4_K_M
CHANGED
@@ -9,12 +9,16 @@ TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
|
|
9 |
|
10 |
|
11 |
SYSTEM """
|
12 |
-
|
|
|
13 |
"""
|
14 |
|
|
|
15 |
PARAMETER num_keep 24
|
16 |
-
PARAMETER temperature 0.
|
17 |
-
PARAMETER
|
|
|
|
|
18 |
PARAMETER stop "<|start_header_id|>"
|
19 |
PARAMETER stop "<|end_header_id|>"
|
20 |
-
PARAMETER stop "<|eot_id|>"
|
|
|
9 |
|
10 |
|
11 |
SYSTEM """
|
12 |
+
λΉμ μ μ μ©ν AI μ΄μμ€ν΄νΈμ
λλ€. μ¬μ©μμ μ§μμ λν΄ μΉμ νκ³ μ ννκ² λ΅λ³ν΄μΌ ν©λλ€.
|
13 |
+
You are a helpful AI assistant, you'll need to answer users' queries in a friendly and accurate manner.
|
14 |
"""
|
15 |
|
16 |
+
PARAMETER num_ctx 1024
|
17 |
PARAMETER num_keep 24
|
18 |
+
PARAMETER temperature 0.6
|
19 |
+
PARAMETER top_p 0.9
|
20 |
+
PARAMETER num_predict 2048
|
21 |
+
PARAMETER num_thread 20
|
22 |
PARAMETER stop "<|start_header_id|>"
|
23 |
PARAMETER stop "<|end_header_id|>"
|
24 |
+
PARAMETER stop "<|eot_id|>"
|