Update app.py

app.py

@@ -2,62 +2,73 @@ import gradio as gr
 from gradio_client import Client, handle_file
 from huggingface_hub import InferenceClient
 
+# Moondream2 için Client kullanıyoruz
 moondream_client = Client("vikhyatk/moondream2")
+
+# LLaMA için InferenceClient kullanıyoruz
 llama_client = InferenceClient("Qwen/QwQ-32B-Preview")
 
+# Sohbet geçmişini tutmak için bir değişken
 history = []
 
+# Resim açıklama fonksiyonu
 def describe_image(image, user_message):
     global history
+    
+    # Resmi Moondream2 API'sine gönderiyoruz
     result = moondream_client.predict(
         img=handle_file(image),
         prompt="Describe this image.",
         api_name="/answer_question"
     )
     
-    description = result
+    # Moondream2'den alınan açıklamayı sisteme dahil ediyoruz
+    description = result  # Moondream2'nin cevabını alıyoruz
+
+    # LLaMA API'sine açıklamayı ve kullanıcının mesajını gönderiyoruz
     history.append(f"User: {user_message}")
     history.append(f"Assistant: {description}")
     
+    # Sohbet geçmişini birleştirip tek bir mesaj olarak LLaMA'ya gönderiyoruz
     full_conversation = "\n".join(history)
-    return respond(user_message, history, "System: Describe the image.", 512, 0.7, 0.95)
-
-def respond(message, history, system_message, max_tokens, temperature, top_p):
-    messages = [{"role": "system", "content": system_message}]
-    
-    for val in history:
-        if val[0]:
-            messages.append({"role": "user", "content": val[0]})
-        if val[1]:
-            messages.append({"role": "assistant", "content": val[1]})
-    
-    messages.append({"role": "user", "content": message})
+    llama_result = llama_client.chat_completion(
+        messages=[{"role": "user", "content": full_conversation}],
+        max_tokens=512,  # Burada token sayısını belirleyebilirsiniz
+        temperature=0.7,  # Sıcaklık parametresi
+        top_p=0.95  # Nucleus sampling için top_p parametresi
+    )
     
-    response = ""
-    for message in llama_client.chat_completion(
-        messages,
-        max_tokens=max_tokens,
-        stream=True,
-        temperature=temperature,
-        top_p=top_p,
-    ):
-        token = message.choices[0].delta.content
-        response += token
-        yield response
+    # Sonucu döndürüyoruz
+    return description + "\n\nAssistant: " + llama_result['choices'][0]['message']['content']
 
+# Sohbet fonksiyonu, resim yüklenip yüklenmediğine göre yönlendirecek
 def chat_or_image(image, user_message):
     global history
+
+    # Resim yüklenmişse, önce açıklama alıp sonra LLaMA'ya gönderiyoruz
     if image:
         return describe_image(image, user_message)
     else:
+        # Resim yoksa, direkt LLaMA'ya mesajı gönderiyoruz
         history.append(f"User: {user_message}")
-        return respond(user_message, history, "System: Answer the user's question.", 512, 0.7, 0.95)
-
-with gr.Blocks() as demo:
-    with gr.Row():
-        with gr.Column(scale=1):
-            gr.Image(type="filepath", label="Upload Image (optional)", elem_id="left-column")
-        with gr.Column(scale=2):
-            gr.Textbox(label="Ask or Chat", placeholder="Ask a question...", lines=2, elem_id="right-column")
-    
-    demo.launch(show_error=True)
+        full_conversation = "\n".join(history)
+        llama_result = llama_client.chat_completion(
+            messages=[{"role": "user", "content": full_conversation}],
+            max_tokens=512,
+            temperature=0.7,
+            top_p=0.95
+        )
+        return llama_result['choices'][0]['message']['content']
+
+# Gradio arayüzü
+demo = gr.Interface(
+    fn=chat_or_image,  # Hem resim hem de metin için kullanılacak fonksiyon
+    inputs=[
+        gr.Image(type="filepath", label="Upload image (Optional)"),  # Resim yükleme
+        gr.Textbox(label="Ask anything", placeholder="Soru sor...", lines=2)  # Metin girişi
+    ],
+    outputs="text",  # Çıktı metin olarak dönecek
+)
+
+if _name_ == "_main_":
+    demo.launch(show_error=True)  # Hata raporlamayı etkinleştiriyoruz