change

.dockerignore

@@ -0,0 +1,2 @@
+**/__pycache__
+**/venv

.gitignore

@@ -0,0 +1 @@
+**/venv

.ipynb_checkpoints/Untitled-checkpoint.ipynb

@@ -0,0 +1,6 @@
+{
+ "cells": [],
+ "metadata": {},
+ "nbformat": 4,
+ "nbformat_minor": 5
+}

Dockerfile

@@ -8,7 +8,7 @@ RUN apt-get update && apt-get install -y \
     tesseract-ocr \
     tesseract-ocr-fra \
     libtesseract-dev \
-    && apt-get clean \
+    && apt-get clean \ 
     && rm -rf /var/lib/apt/lists/*
 COPY requirements.txt requirements.txt
 
@@ -18,5 +18,5 @@ RUN mkdir -p /app/.cache && chmod -R 777 /app/.cache
 ENV TRANSFORMERS_CACHE=/app/.cache
 ENV HF_HOME=/app/.cache 
 
-# EXPOSE 7860 
-CMD ["uvicorn", "app:app", "--reload", "--host", "0.0.0.0", "--port", "7860"]
+EXPOSE 8080 
+CMD ["uvicorn", "app:app", "--reload", "--host", "0.0.0.0", "--port", "8080"]

app.py

@@ -1,116 +1,115 @@
 #load package
-from transformers import pipeline
 from fastapi import FastAPI,HTTPException,status,UploadFile,File
 from pydantic import BaseModel
 import uvicorn
 import logging
-from PIL import Image,UnidentifiedImageError
-import pytesseract
-from io import BytesIO
+import torch
+from transformers import T5Tokenizer, T5ForConditionalGeneration,AutoModelForCausalLM,AutoTokenizer
 import os
-import re
+import numpy as np
+from openai import OpenAI
+import ollama
 
 # Configurer les répertoires de cache
 os.environ['TRANSFORMERS_CACHE'] = '/app/.cache'
 os.environ['HF_HOME'] = '/app/.cache'
+# Charger le modèle et le tokenizer
+# model_name = "models/models--t5-base/snapshots/a9723ea7f1b39c1eae772870f3b547bf6ef7e6c1"
+# tokenizer = T5Tokenizer.from_pretrained(model_name)
+# model = T5ForConditionalGeneration.from_pretrained(model_name)
+# model = AutoModelForCausalLM.from_pretrained("THUDM/longwriter-glm4-9b", trust_remote_code=True)
+# tokenizer = AutoTokenizer.from_pretrained("THUDM/longwriter-glm4-9b", trust_remote_code=True)
+
+# Configuration du client OpenAI avec l'API NVIDIA
+client = OpenAI(
+    base_url="https://integrate.api.nvidia.com/v1",
+    api_key="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"
+)
+ 
 #Additional information
  
 Informations = """ 
--text : Texte à resumé
+-text : Texte à resumé 
 
 output:
 - Text summary : texte resumé
 """
 
-
-
 app =FastAPI(
     title='Text Summary',
     description =Informations
-)
-
-#class to define the input text
+)  
+ 
+#class to define the input text 
 logging.basicConfig(level=logging.INFO)
 logger =logging.getLogger(__name__)
-summarize =pipeline('summarization', model="facebook/bart-large-cnn")
-pipe = pipeline("summarization", model="plguillou/t5-base-fr-sum-cnndm") 
-classify_zero_shot = pipeline("zero-shot-classification", model="facebook/bart-large-mnli")
 
-class TextSummary(BaseModel):
-    text:str
-
-#ENDPOINT
 
+default_prompt = """Bonjour,
+en tant qu’expert dans la gestion et le traitement de plaintes réseaux chez un opérateur de télécommunications, fais moi un descriptif clair de la situation concernant la plainte dont les informations sont fournies plus bas dans ce message. Ecris la situation en 4 ou 5 phrases claires et concises, fais comme si tu parlais à un humain et rajoutes les informations relatives au Client pour une meilleure connaissance de ce dernier ainsi que des éléments de dates/délais pour être précis sur le traitement de la plainte. N’hésites pas à innover sur le ton à utiliser car n’oublies pas que tu dois faire comme si tu parlais à un humain. Ce ton peut être adapté et ne pas toujours être le même en fonction des cas.
+Pour m’éviter de lire tout le détail de la plainte (voir le texte partagé plus bas), essayes de trouver toutes les informations utiles permettant de mieux appréhender la situation, par exemple : si les coordonnées GPS (Lat, Lon) sont disponibles essayes de m'indiquer le lieu où est survenue la plainte même de manière approximative. Essayes également de glaner sur internet toutes les informations pouvant aider à mieux comprendre et traiter la plainte (cela peut inclure des informations des réseaux sociaux, des concurrents, etc.) tout en priorisant dans l’analyse les informations fournies dans le texte plus bas; informations qui ont été renseignées par les experts internes chez l’opérateur de télécommunications en question et qui sont structurées en plusieurs sections :
+a) Un titre de la plainte
+b) Une section avec les Détails de la Plainte contenant l’objet, le numéro client, l’expéditeur, la date de création, les coordonnées géographiques (lat, lon)
+c) Une section avec les états d’avancement incluant les échanges (sous format chat) entre les différents acteurs impliqués dans le traitement de la plainte
+d) Une section contenant les éléments relatifs à la qualification de la plainte (type de plainte, origine, domaine, sous-domaine, etc…)
+e) Une section avec les fichiers joints à la plainte et autres pièces jointes pour mieux comprendre et trouver une solution à cette plainte en vue de satisfaire le Client
+ 
+Dans la situation que tu vas me donner (en quelques 4 ou 5 phrases comme si tu t’adresses à un humain), assures toi que les points cruciaux (voire rédhibitoires) ci-dessous sont bien présents :
+1) Ecris la situation en 4 ou 5 phrases claires et concises, fais comme si tu parlais à un humain
+2) Rajoutes les informations relatives au Client pour être précis sur la connaissance de ce dernier.
+3) Rajoutes des éléments de dates (remontée, transfert, prise en charge, résolution, clôture, etc…) ainsi que les délais (par exemple de réponse des différents acteurs ou experts de la chaine de traitement) pour mieux apprécier l'efficacité du traitement de la plainte.
+4) Rajoutes à la fin une recommandation importante afin d'éviter le mécontentement du Client par exemple pour éviter qu’une Plainte ne soit clôturée sans solution pour le Client notamment et à titre illustratif seulement dans certains cas pour un Client qui a payé pour un service et ne l'a pas obtenu, On ne peut décemment pas clôturer sa plainte sans solution en lui disant d’être plus vigilant, il faut recommander à l’équipe en charge de la plainte de le rembourser ou de trouver un moyen de donner au Client le service pour lequel il a payé (à défaut de le rembourser).
+5) N’hésites pas à innover sur le ton à utiliser car n’oublies pas que tu dois faire comme si tu parlais à un humain. Ce ton peut être adapté et ne pas toujours être le même en fonction des cas.
+"""
+instructions_par_defaut = (
+        "Vous êtes un expert en service client. Résumez la plainte suivante en extrayant les informations clés : "
+        "1. Objet de la plainte. "
+        "2. Détails incluant le numéro client, le problème et les dates importantes. "
+        "3. Actions prises et suivis incluant les dates et les personnes impliquées. "
+        "4. Toute action supplémentaire ou recommandation nécessaire."
+    )
+class TextSummary(BaseModel): 
+    prompt:str 
+    
 @app.get("/")
 async def home():
     return 'STN BIG DATA'
-
-
-@app.post("/summary")
-async def summary_text_bart(input:TextSummary):
-    "add text to summarize"
-    try: 
-        
-        preprocessed_text_summary =re.sub(r'\s+',' ',input.text).strip()
-        summary = pipe(preprocessed_text_summary,do_sample=False)
-        summary_text =summary[0].get('summary_text')
-        result = classify_zero_shot(
-                summary_text,
-                candidate_labels=["En Cours", "Non traiter", "Terminer"],
-                hypothesis_template="Cet Resumé est sur {}."
-            )
-        print(f"[iNFO] Input data as text:\n{summary_text}")
-        logger.info(f"[INFO] input data:{input.text}")
-        logger.info(f"[INFO] Summary:{summary}")
-        formatted_result = [
-            f"{label}: {score:.2f}" for label, score in zip(result['labels'], result['scores']*100)
-        ]
-        return {
-            "summary_text" :summary_text,
-            "Statut":formatted_result,
-            # "preprocessed_text_summary":preprocessed_text_summary,
-            "len_input" : len(input.text),
-            "len_output" :len(summary_text)
-
-        }
-         
-
-    except ValueError as e:
-        logger.error(f"valueError:{e}")
-        return {"error ER":str(e)}
-    
-    except Exception as e:
-        raise HTTPException(status_code=status.HTTP_500_INTERNAL_SERVER_ERROR,detail="Could not summarize the input text.")
+# Fonction pour générer du texte à partir d'une requête
+# Modèle pour la requête
+class RequestModel(BaseModel):
+    text: str
+
+@app.post("/generate/")
+async def generate_text(request: RequestModel):
+    # Créer la requête pour l'API NVIDIA
+    # completion = client.chat.completions.create(
+    #     model="meta/llama-3.1-8b-instruct", 
+    #     messages=[{"role": "user", "content": default_prompt + request.text}],
+    #     temperature=0.2,
+    #     top_p=0.7,
+    #     max_tokens=1024,
+    #     stream=True
+    # )
+    response = ollama.chat(
+        model="llama3",
+        messages=[
+            {
+                "role": "user",
+                "content": default_prompt + request.text,
+            },
+        ],
+    )
+    # Générer le texte en temps réel
     
-@app.post("/upload-image/")
-async def upload_image(image: UploadFile = File(...)):
-    contents = await image.read()
-    try:
+    generated_text = response["message"]["content"]
+    # for chunk in completion:
+    #     if chunk.choices[0].delta.content is not None:
+    #         generated_text += chunk.choices[0].delta.content
 
-        try:
-            image_open = Image.open(BytesIO(contents))
-        except UnidentifiedImageError:
-            raise HTTPException(status_code=400, detail="Unsupported or corrupted image file.")
- 
-        raw_text = pytesseract.image_to_string(image_open,lang='fra')
-        logger.info(f"Extract text:{raw_text}")
-        #preprocessing the text
-        preprocessed_text =re.sub(r'\s+',' ',raw_text).strip()
-        logger.info(f"Preprocessing  text:{preprocessed_text}")
-        text_summary = pipe(raw_text,do_sample=False)
-        summary_text_image =text_summary[0].get('summary_text')
-        return {
-                "Text preprocessing": preprocessed_text,
-                # "len":len(preprocessed_text),
-                "summary":summary_text_image,
-                "len summary":len(summary_text_image)
-                }
-    except Exception as e:
-        logger.error(f"Error processing image:{e}")
-        raise HTTPException(status_code=500, detail=str(e))
+    return {"generated_text": generated_text}
 if __name__ == "__main__":
-    uvicorn.run("app:app",host="0.0.0.0",port=8000,reload=True)
-
+    uvicorn.run("app:app",reload=True) 
 
 
 
+ 

app1.py

@@ -0,0 +1,86 @@
+#load package
+from fastapi import FastAPI
+from pydantic import BaseModel
+import torch
+from transformers import (
+    AutoModelForCausalLM,
+    AutoTokenizer
+)
+from typing import List, Tuple
+from threading import Thread
+import os
+from pydantic import BaseModel
+import logging
+import uvicorn
+
+
+# Configurer les répertoires de cache
+os.environ['TRANSFORMERS_CACHE'] = '/app/.cache'
+os.environ['HF_HOME'] = '/app/.cache'
+# Charger le modèle et le tokenizer
+model = AutoModelForCausalLM.from_pretrained("THUDM/longwriter-glm4-9b", trust_remote_code=True, device_map='auto')
+tokenizer = AutoTokenizer.from_pretrained("THUDM/longwriter-glm4-9b", trust_remote_code=True)
+
+ 
+#Additional information
+ 
+Informations = """ 
+-text : Texte à resumé 
+
+output:
+- Text summary : texte resumé
+"""
+
+app =FastAPI(
+    title='Text Summary',
+    description =Informations
+)  
+default_prompt = """Bonjour,
+
+En tant qu’expert en gestion des plaintes réseaux, rédige un descriptif clair de la plainte ci-dessous. Résume la situation en 4 ou 5 phrases concises, en mettant l'accent sur :
+1. **Informations Client** : Indique des détails pertinents sur le client.
+2. **Dates et Délais** : Mentionne les dates clés et les délais (prise en charge, résolution, etc.).
+3. **Contexte et Détails** : Inclut les éléments essentiels de la plainte (titre, détails, états d’avancement, qualification, fichiers joints).
+
+Ajoute une recommandation importante pour éviter le mécontentement du client, par exemple, en cas de service non fourni malgré le paiement. Adapte le ton pour qu'il soit humain et engageant.
+
+Merci !
+
+"""
+#class to define the input text 
+logging.basicConfig(level=logging.INFO)
+logger =logging.getLogger(__name__)
+# Définir le modèle de requête
+class PredictionRequest(BaseModel):
+    text: str = None  # Texte personnalisé ajouté par l'utilisateur
+    # max_length: int = 2000  # Limite la longueur maximale du texte généré
+
+@app.post("/predict/")
+async def predict(request: PredictionRequest):
+    # Construire le prompt final
+    if request.text:
+        prompt = default_prompt + "\n\n" + request.text
+    else:
+        prompt = default_prompt
+
+    # Tokenize l'entrée et créez un attention mask
+    inputs = tokenizer(prompt, return_tensors="pt", padding=True, truncation=True)
+    input_ids = inputs.input_ids.to(model.device)
+    attention_mask = inputs.attention_mask.to(model.device)
+
+    # Générez le texte en passant l'attention mask
+    outputs = model.generate(
+        input_ids,
+        attention_mask=attention_mask,
+        max_length=3000,
+        do_sample=True
+    )
+    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    
+    return {"generated_text": generated_text}
+
+if __name__ == "__main__":
+    uvicorn.run("app:app",reload=True) 
+
+
+ 

app3.py

@@ -0,0 +1,86 @@
+#load package
+from fastapi import FastAPI
+from pydantic import BaseModel
+import torch
+from transformers import (
+    AutoModelForCausalLM,
+    AutoTokenizer
+)
+from typing import List, Tuple
+from threading import Thread
+import os
+from pydantic import BaseModel
+import logging
+import uvicorn
+
+
+# Configurer les répertoires de cache
+os.environ['TRANSFORMERS_CACHE'] = '/app/.cache'
+os.environ['HF_HOME'] = '/app/.cache'
+# Charger le modèle et le tokenizer
+model = AutoModelForCausalLM.from_pretrained("THUDM/longwriter-glm4-9b", trust_remote_code=True, device_map='auto')
+tokenizer = AutoTokenizer.from_pretrained("THUDM/longwriter-glm4-9b", trust_remote_code=True)
+
+ 
+#Additional information
+ 
+Informations = """ 
+-text : Texte à resumé 
+
+output:
+- Text summary : texte resumé
+"""
+
+app =FastAPI(
+    title='Text Summary',
+    description =Informations
+)  
+default_prompt = """Bonjour,
+
+En tant qu’expert en gestion des plaintes réseaux, rédige un descriptif clair de la plainte ci-dessous. Résume la situation en 4 ou 5 phrases concises, en mettant l'accent sur :
+1. **Informations Client** : Indique des détails pertinents sur le client.
+2. **Dates et Délais** : Mentionne les dates clés et les délais (prise en charge, résolution, etc.).
+3. **Contexte et Détails** : Inclut les éléments essentiels de la plainte (titre, détails, états d’avancement, qualification, fichiers joints).
+
+Ajoute une recommandation importante pour éviter le mécontentement du client, par exemple, en cas de service non fourni malgré le paiement. Adapte le ton pour qu'il soit humain et engageant.
+
+Merci !
+
+"""
+#class to define the input text 
+logging.basicConfig(level=logging.INFO)
+logger =logging.getLogger(__name__)
+# Définir le modèle de requête
+class PredictionRequest(BaseModel):
+    text: str = None  # Texte personnalisé ajouté par l'utilisateur
+    # max_length: int = 2000  # Limite la longueur maximale du texte généré
+
+@app.post("/predict/")
+async def predict(request: PredictionRequest):
+    # Construire le prompt final
+    if request.text:
+        prompt = default_prompt + "\n\n" + request.text
+    else:
+        prompt = default_prompt
+
+    # Tokenize l'entrée et créez un attention mask
+    inputs = tokenizer(prompt, return_tensors="pt", padding=True, truncation=True)
+    input_ids = inputs.input_ids.to(model.device)
+    attention_mask = inputs.attention_mask.to(model.device)
+
+    # Générez le texte en passant l'attention mask
+    outputs = model.generate(
+        input_ids,
+        attention_mask=attention_mask,
+        max_length=3000,
+        do_sample=True
+    )
+    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    
+    return {"generated_text": generated_text}
+
+if __name__ == "__main__":
+    uvicorn.run("app:app",reload=True) 
+
+
+ 

app4.py

@@ -0,0 +1,12 @@
+import ollama
+
+response = ollama.chat(
+    model="llama3",
+    messages=[
+        {
+            "role": "user",
+            "content": "Tell me an interesting fact about elephants",
+        },
+    ],
+)
+print(response["message"]["content"])

requirements.txt

@@ -1,12 +1,15 @@
 fastapi==0.111.0
 torch==2.3.1
-transformers==4.41.2
+transformers==4.44.1
 uvicorn==0.30.1
 pydantic==2.7.4
 pillow==10.3.0
-numpy==1.23.5
+numpy
 scipy==1.11.3
 sentencepiece==0.2.0
 pytesseract==0.3.10
 Pillow==10.3.0
-protobuf
+BeautifulSoup4==4.12.3
+protobuf
+openai==1.42.0
+ollama