First commit

.gitignore

@@ -0,0 +1 @@
+git-commit-push.bat

app.py

@@ -0,0 +1,80 @@
+import gradio as gr
+import spaces
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch    # avec pip sur windows, ERROR: No matching distribution found for torch
+                # à utiliser dans un environnement GPU, Colab ou Space
+import os                
+
+from src.amodel import AModel
+AModel.load_env_variables()
+
+MODEL_ID = "OpenLLM-France/Lucie-7B-Instruct"
+
+TOKENIZER = AutoTokenizer.from_pretrained(
+                MODEL_ID,
+                token=os.getenv("HUGGINGFACEHUB_API_TOKEN"),
+                trust_remote_code=True
+            )
+MODEL = AutoModelForCausalLM.from_pretrained(
+                MODEL_ID,
+                token=os.getenv("HUGGINGFACEHUB_API_TOKEN"),
+                device_map="auto",
+                torch_dtype=torch.bfloat16,
+                trust_remote_code=True
+            )
+DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
+
+with gr.Blocks(title="Lucie",
+               fill_height=True,
+               analytics_enabled=False,
+               css="footer {visibility: hidden}",
+               ) as demo:
+    
+    @spaces.GPU
+    def send(question):
+        system_prompt = '''Tu es Lucie, une assistante IA française serviable et amicale. 
+        Tu réponds toujours en français de manière précise et utile. 
+        Tu es honnête et si tu ne sais pas quelque chose, tu le dis simplement.'''
+        full_prompt = f"""<|system|>{system_prompt}</s><|user|>{question}</s><|assistant|>"""
+        inputs = TOKENIZER(full_prompt, return_tensors="pt").to(DEVICE)
+        outputs = MODEL.generate(
+            **inputs,
+            # max_new_tokens=max_new_tokens, # TODO: S'occuper des max_tokens avec tous les modèles
+            max_new_tokens=512,
+            # temperature=temperature,
+            # top_p=top_p,
+            # top_k=top_k,
+            # repetition_penalty=repetition_penalty,
+            do_sample=True,
+            pad_token_id=TOKENIZER.eos_token_id
+        )
+        response = TOKENIZER.decode(outputs[0], skip_special_tokens=True)
+        r = response.split("<|assistant|>")[-1].strip()
+        return r, gr.Image()
+
+    with gr.Tab("Chat"):
+        with gr.Row():
+            gr.Markdown('''# Lucie d'OpenLLM
+                        
+                        ## Discute avec Lucie
+                        ''')
+        with gr.Row(): 
+            gr.HTML('''<div><p align='right'>Pose ta question:</p></div>''')
+            question = gr.Textbox("", show_copy_button=False,
+                       show_label=False,
+                       container=False)
+            send_btn = gr.Button("Ok")
+        # L'image blanche qui affiche la progression 
+        wait = gr.Image("./files/white.jpg", height=25, show_download_button=False, 
+                    show_fullscreen_button=False, show_label=False, show_share_button=False,
+                    interactive=False, container=False, visible=True) 
+        
+        resp = gr.Textbox("", show_copy_button=False,
+                       show_label=False,
+                       container=False,
+                       max_lines=15)
+        
+    send_btn.click(send, inputs=[question], outputs=[resp, wait])
+            
+if __name__ == "__main__":
+    demo.queue().launch()

requirements.txt

@@ -0,0 +1,5 @@
+gradio
+torch
+transformers
+accelerate
+spaces

src/amodel.py

@@ -0,0 +1,75 @@
+from abc import ABC, abstractmethod
+from enum import Enum
+import os
+
+class ModelType(Enum):
+    ''' Les différentes technos de models '''
+    MTOPENAI = 1
+    MTOLLAMA = 2
+    MTHUGGINGFACE = 3
+    MTMISTRAL = 4
+    MTHUGGINGFACEURL = 5
+
+    @classmethod
+    def to_str(self, mt:int)->str:
+        match mt:
+            case 1: return "MTOPENAI"
+            case 2: return "MTOLLAMA"
+            case 3: return "MTHUGGINGFACE"
+            case 4: return "MTMISTRAL"
+            case _: return "UNKNOWN"
+
+class AModel(ABC):
+    '''
+        Classe abstraite de base pour tous les models :
+            Ollama en local
+            OpenAI distant
+            HuggingFace distant
+            HuggingFace dans une app
+            ...
+    '''
+
+    @classmethod
+    def load_env_variables(cls):
+        ''' 
+            Gestion des tokens par variables d'environnement
+            On utilise dotenv, sauf si la platforme est un space HuggingFace
+            Dans ce cas les variables d'env sont déjà chargées
+        '''
+        # HF_ACTIVE est une variable d'environnement créée dans les spaces HuggingFace
+        # Elle sert à savoir que l'appli tourne dans un space
+        if not os.getenv("HF_ACTIVE"): # Utilisation ailleurs que dans un space
+            # load_dotenv ne passe pas dans un space HuggingFace
+            from dotenv import load_dotenv
+            load_dotenv()
+
+
+    @abstractmethod
+    def ask_llm(self, question:str)->str:
+        pass
+
+    @abstractmethod
+    def create_vector(self, chunk:str)->list[float]:
+        pass
+
+    @abstractmethod
+    def create_vectors(self, chunks:list[str])->list[list[float]]:
+        pass
+
+    def get_llm_name(self):
+        return self.llm_name
+
+    def set_llm_name(self, llm_name:str):
+        self.llm_name = llm_name
+
+    def get_feature_name(self):
+        return self.feature_name
+
+    def set_feature_name(self, feature_name:str):
+        self.feature_name = feature_name
+
+    def get_temperature(self):
+        return self.temperature
+
+    def set_temperature(self, temperature:float):
+        self.temperature = temperature