Update app.py

app.py

@@ -222,49 +222,63 @@ def further_retrieve(query):
     except :
         print("No rerank")
         return get_all_text(retriever.retrieve(query))
-
-
-def prompt_objectif(user_input):
-    from openai import OpenAI
-    client = OpenAI(api_key=openai_key)
-    documents = further_retrieve(user_input)
-    print("ù"*100)
-    print(documents)
-    print("ù"*100)
-    try:
-        # Tokenize the text using tiktoken
-        encoder = tiktoken.get_encoding("cl100k_base")
-        tokens = encoder.encode(user_input)
-        encoded_text = encoder.decode(tokens)
-
-        # Make the API call to the language model
-        response = client.chat.completions.create(
-          model="gpt-4o",
-          messages=[
-            {"role": "system", "content": f"""Tu es un assistant utile. L'utilisateur posera une question et tu devras trouver la réponse dans les documents suivants.Focalise sur les service et la direction du signataire que l'utilisateur cherche. Tu ne dois pas poser de question en retour.Tu ne sois mentionner le numéro des documents. Tu t'exprimes dans la même langue que l'utilisateur., 
-                                        DOCUMENTS : 
-                                        {documents}"""},
-            {"role": "user", "content": user_input},
-          ]
-        )
-
-        # Extract and return the generated response
-        resultat = response.choices[0].message.content
-        return resultat
-
-    except Exception as e:
-        print(f"Failed to generate questions: {e}")
-        return None
-
-
-# Create the Gradio interface
-iface = gr.Interface(
-    fn=prompt_objectif, 
-    inputs="text", 
-    outputs="text",
-    title="Chatbot Interaction",
-    description="Enter your message to interact with the chatbot."
+        
+def estimate_tokens(text):
+    # Encoder le texte pour obtenir les tokens
+    encoding = tiktoken.get_encoding("cl100k_base")
+    tokens = encoding.encode(text)
+    return len(tokens)
+
+history_with_docs = []
+def process_final(user_prom, history):
+    global history_with_docs
+    documents = further_retrieve(user_prom)
+    history_with_docs.append((user_prom, documents))
+    system_p = "Tu es un assistant utile. L'utilisateur va te donner des documents suivi par une question, tu dois trouver la bonne réponse apartir des document fournis .Focalise sur les service et la direction du signataire que l'utilisateur cherche. Tu ne dois pas poser de question en retour.Tu ne dois pas mentionner le numéro des documents. Tu t'exprimes dans la même langue que l'utilisateur."
+    print("PHASE 03 passing to LLM\n")
+    sys_p = f"<|im_start|>system \n{system_p}\n<|im_end|>"
+    prompt_f = ""
+    total_tokens = estimate_tokens(prompt_f)
+
+    for val in reversed(history):
+        if val[0]:  # Si c'est une question utilisateur
+            # Chercher le document correspondant dans history_with_docs
+            for past_question, past_documents in reversed(history_with_docs):
+                if past_question == val[0]:
+                    user_p = f" <|im_start|>user \n Documents: \n {past_documents}\n Question :{val[0]}\n<|im_end|>"
+                    break
+        if val[1]:  # Si c'est une réponse de l'assistant
+            assistant_p = f" <|im_start|>assistant \n {val[1]}\n<|im_end|>"
+        
+        current_tokens = estimate_tokens(user_p+assistant_p)
+        
+        if total_tokens + current_tokens > 3000:
+            break
+        else:
+            prompt_f = user_p + assistant_p + prompt_f
+            total_tokens += current_tokens
+            
+    prompt_f = f"{sys_p} {prompt_f} <|im_start|>user \n Documents: \n {documents}\nQuestion : {user_prom} \n<|im_end|><|im_start|>assistant \n"
+    gen = llm.stream_complete(formatted=True, prompt=prompt_f)
+    print(f"le nombre TOTAL de tokens : {total_tokens}\n")
+    print("_"*100)
+    print(prompt_f)
+    print("o"*100)
+    for response in gen:
+        yield response.text
+
+from gradio import gradio as gr
+description = """
+<p>
+<center>
+<img src="https://www.nicecotedazur.org/wp-content/themes/mnca/images/logo-metropole-nca.png" alt="rick" width="250"/>
+</center>
+</p>
+<p style="text-align:right"> Made by KHEOPS AI</p>
+"""   
+demo = gr.ChatInterface(
+    fn=process_final, 
+    title="METROPOLE CHATBOT",
+    description=description,
 )
-
-# Launch the interface
-iface.launch(share=True, debug = True)
+demo.launch(share=True, debug =True)