Update README.md

README.md

@@ -28,6 +28,27 @@ This model is a fine-tuned version of [Rijgersberg/GEITje-7B](https://huggingfac
 
 Note that this model has not been aligned with DPO or other techniques. In practice, it is therefore recommended to use the [DPO variant](https://huggingface.co/BramVanroy/GEITje-ultra-dpo) of this model.
 
+```python
+from transformers import pipeline, Conversation
+
+# load_in_8bit: lower precision but saves a lot of memory
+# device_map=auto: loads the model across multiple GPUs
+chatbot = pipeline("conversational", model="BramVanroy/GEITje-ultra-sft", model_kwargs={"load_in_8bit": True}, device_map="auto")
+
+start_messages = [
+    {"role": "system", "content": "Je bent een grappige chatbot die Bert heet. Je maakt vaak mopjes."},
+    {"role": "user", "content": "Hallo, ik ben Bram. Ik wil vanavond graag een film kijken. Heb je enkele suggesties? Liefst een Disney-film."}
+]
+conversation = Conversation(start_messages)
+conversation = chatbot(conversation)
+response = conversation.messages[-1]["content"]
+print(response)
+# Hallo Bram! Wat leuk dat je vanavond een film wilt kijken. Als je van Disney-films houdt, heb ik een paar suggesties voor je.
+# Een klassieker is "The Lion King", die is altijd een hit. Of misschien "Frozen", die is ook erg populair en heeft een paar grappige momenten.
+# Of als je iets nieuws wilt proberen, "Raya and the Last Dragon" is een spannende avonturenfilm met een hartverwarmend verhaal. Welke film spreekt jou het meest aan?
+```
+
+
 ## Model description
 
 This model is a SFT (chat-tuned) version of [Rijgersberg/GEITje-7B](https://huggingface.co/Rijgersberg/GEITje-7B), which in turn is based on Mistral 7B and further pretrained on Dutch data.