Update app.py

app.py

@@ -9,7 +9,7 @@ huggingface_token = os.getenv("HF_TOKEN")
 
 infer_prompt = "فيما يلي تعليمات تصف مهمة. اكتب استجابة تكمل الطلب بشكل مناسب.\n\n### تعليمات:\n{}\n\n### إجابة:\n"
 model_id = "nazimali/mistral-7b-v0.3-instruct-arabic"
-file_name = "Q8_0.gguf"
+file_name = "Q4_K_M.gguf"
 llm = None
 
 
@@ -38,7 +38,7 @@ def respond(
 
     stream = llm.create_chat_completion(
         messages=[{"role": "user", "content": infer_prompt.format(message) }],
-        max_tokens=50,
+        max_tokens=512,
         repeat_penalty=1.2,
         stream=True,
         temperature=0.7,
@@ -54,7 +54,7 @@ def respond(
 
 
 
-demo = gr.ChatInterface(respond, examples=["السلام عليكم", "hello"], title="Mistral 7B Arabic Fine-tuned")
+demo = gr.ChatInterface(respond, examples=["السلام عليكم كيف حالك؟", "hello"], title="Mistral 7B Arabic Fine-tuned")
 
 
 if __name__ == "__main__":