Update README.md

README.md

@@ -41,39 +41,33 @@ Bram Vanroy. (2023). Llama v2 13b: Finetuned on Dutch Conversational Data. Huggi
 ## Usage
 
 ```python
-from transformers import pipeline
+from transformers import pipeline, Conversation
 
 
-# If you want to add a system message, add a dictionary with role "system". However, this will likely have little
-# effect since the model was only finetuned using a single system message.
-messages = [
-    {
-        "role": "user",
-        "content": "Welke talen worden er in België gesproken?"
-    }
-]
-pipe = pipeline(
-    "text-generation",
+chatbot = pipeline(
+    "conversational",
     model="BramVanroy/Llama-2-13b-chat-dutch",
-    device_map="auto"
-)
-
-# Just apply the template but leave the tokenization for the pipeline to do
-prompt = pipe.tokenizer.apply_chat_template(
-    messages,
-    tokenize=False
+    model_kwargs={
+        "device_map": "auto",
+        "load_in_8bit": True
+    }
 )
 
-# Only return the newly generated tokens, not prompt+new_tokens (return_full_text=False)
-generated = pipe(
-    prompt,
-    do_sample=True,
-    max_new_tokens=64,
-    return_full_text=False
-)
+# Ask a first question
+conversation = Conversation("Wat zijn enkele kleuren van de regenboog?")
+conversation = chatbot(conversation)
+# assistant: De regenboog bestaat uit zeven verschillende kleuren: rood, oranje, geel, groen, blauw, indigo en violet.
+
+# Ask a second question
+conversation.add_user_input("Interessant! Hoe worden die kleuren gevormd?")
+conversation = chatbot(conversation)
+print(conversation)
+# Conversation id: d8abbddb-6249-4699-b789-d1b42bb4fd71
+# user: Wat zijn enkele kleuren van de regenboog?
+# assistant: De regenboog bestaat uit zeven verschillende kleuren: rood, oranje, geel, groen, blauw, indigo en violet.
+# user: Interessant! Hoe worden die kleuren gevormd?
+# assistant: De kleuren van de regenboog worden gevormd door het breken van licht door waterdruppels in de atmosfeer. Elke druppel heeft een unieke grootte en vorm, waardoor het licht dat door de druppel gaat wordt gefragmenteerd en verschillende kleuren op de bodem van de druppel wordt weerkaatst.
 
-generated[0]["generated_text"]
-# ' De officiële talen van België zijn Nederlands, Frans en Duits. Daarnaast worden er nog een aantal andere talen gesproken, waaronder Engels, Spaans, Italiaans, Portugees, Turks, Arabisch en veel meer. '
 ```
 
 ## Model description