Update README.md

README.md

@@ -114,6 +114,7 @@ tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)
 
 messages = [
+    {"role": "system", "content": "Odpowiadaj krótko, precyzyjnie i wyłącznie w języku polskim."},
     {"role": "user", "content": "Jakie mamy pory roku w Polsce?"},
     {"role": "assistant", "content": "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima."},
     {"role": "user", "content": "Która jest najcieplejsza?"}
@@ -129,6 +130,27 @@ decoded = tokenizer.batch_decode(generated_ids)
 print(decoded[0])
 ```
 
+If for some reason you are unable to use `tokenizer.apply_chat_template`, the following code will enable you to generate a correct prompt:
+
+```python
+def chat_template(message, history, system_prompt):
+    prompt_builder = ["<s>[INST] "]
+    if system_prompt:
+        prompt_builder.append(f"<<SYS>>\n{system_prompt}\n<</SYS>>\n\n")
+    for human, assistant in history:
+        prompt_builder.append(f"{human} [/INST] {assistant}</s>[INST] ")
+    prompt_builder.append(f"{message} [/INST]")
+    return ''.join(prompt_builder)
+
+system_prompt = "Odpowiadaj krótko, precyzyjnie i wyłącznie w języku polskim."
+history = [
+    ("Jakie mamy pory roku w Polsce?", "W Polsce mamy 4 pory roku: wiosna, lato, jesień i zima.")
+]
+message = "Która jest najcieplejsza?"
+
+prompt = chat_template(message, history, system_prompt)
+```
+
 ## Evaluation