Update app.py

app.py

@@ -357,6 +357,20 @@ def rag_chain(llm, prompt, db):
     result = rag_chain({"query": prompt})
     return result["result"]
 
+############################################
+# rag_chain Alternative für RAg mit Bild-Upload, da hier das llm so nicht genutzt werden kann und der prompt mit den RAG Erweiterungen anders übergeben wird
+#langchain nutzen, um prompt an llm zu leiten, aber vorher in der VektorDB suchen, um passende splits zum Prompt hinzuzufügen
+#prompt mit RAG!!!
+def rag_chain2(prompt, db, k=3):
+    rag_template = "Nutze die folgenden Kontext Teile am Ende, um die Frage zu beantworten . " + template + "Frage: " + prompt + "Kontext Teile: "
+    retrieved_chunks  = db.similarity_search(prompt, k)
+
+    neu_prompt = rag_template 
+    for i, chunk in enumerate(retrieved_chunks):
+        neu_prompt += f"{i+1}. {chunk}\n"
+
+    return neu_prompt
+
 ###################################################
 #Prompts mit History erzeugen für verschiednee Modelle
 ###################################################
@@ -429,7 +443,7 @@ def generate_auswahl(prompt, file, chatbot, history, rag_option, model_option, o
         else:
             #Es wurde ein Bild angehängt -> wenn prompt dazu, das Bild analysieren
             #geht nur über spezielle OpenAI-Schnittstelle...
-            result= generate_text_zu_bild(file, prompt)
+            result= generate_text_zu_bild(file, prompt, k)
             history = history + [((file,), None),(prompt, result)]
             
         print("result..................")
@@ -466,10 +480,24 @@ def generate_bild(prompt, chatbot,  temperature=0.5, max_new_tokens=4048,top_p=0
 
 ##################################################
 #zu einem Bild und Text-Prompt eine Analyse generieren
-def generate_text_zu_bild(file, prompt):
+def generate_text_zu_bild(file, prompt, k):
     global splittet
-    #hier noch die Abfrage rein, ob RAG an ist - 
-    headers, payload = process_image(file, prompt)
+
+    prompt_neu = prompt
+    if (rag_option == "An"):
+        #muss nur einmal ausgeführt werden... 
+        if not splittet:
+            splits = document_loading_splitting()
+            document_storage_chroma(splits)
+        db = document_retrieval_chroma()
+        #mit RAG:
+        neu_text_mit_chunks = rag_chain(prompt, db, k)
+        #für Chat LLM:
+        #prompt = generate_prompt_with_history_openai(neu_text_mit_chunks, history)
+        #als reiner prompt:
+        prompt_neu = generate_prompt_with_history(neu_text_mit_chunks, history)
+    
+    headers, payload = process_image(file, prompt_neu)
     response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
     #als json ausgeben
     data = response.json()