Update app.py

app.py

@@ -9,7 +9,7 @@ huggingface_token = os.getenv("HF_TOKEN")
 
 infer_prompt = "فيما يلي تعليمات تصف مهمة. اكتب استجابة تكمل الطلب بشكل مناسب.\n\n### تعليمات:\n{}\n\n### إجابة:\n"
 model_id = "nazimali/mistral-7b-v0.3-instruct-arabic"
-file_name = "Q4_K_M.gguf"
+file_name = "Q8_0.gguf"
 llm = None
 
 
@@ -32,7 +32,7 @@ def respond(
             model_path=f"./models/{file_name}",
             flash_attn=True,
             n_gpu_layers=-1,
-            n_ctx=2048,
+            n_ctx=1024,
             verbose=True,
         )