Update handler.py

handler.py

@@ -0,0 +1,94 @@
+from typing import Dict, Any
+from llama_cpp import Llama
+from huggingface_hub import hf_hub_download
+
+class EndpointHandler:
+    def __init__(self, path=""):
+        # Configuração do modelo
+        self.model_name_or_path = "souzat19/Llama3.1_fn14133.29122024"
+        self.model_basename = "unsloth.Q8_0.gguf"
+        
+        # Download do modelo
+        model_path = hf_hub_download(
+            repo_id=self.model_name_or_path,
+            filename=self.model_basename
+        )
+        
+        # Inicialização do modelo
+        self.model = Llama(
+            model_path=model_path,
+            n_threads=2,
+            n_batch=512,
+            n_gpu_layers=-1,
+            n_ctx=4096
+        )
+        
+        # Template do prompt no formato Alpaca
+        self.prompt_template = """Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.
+### Instruction:
+Você é um assistente especializado em planejamento de compras públicas de acordo com a Lei 14.133/2021 e regulamentos infralegais. Responda de forma clara, detalhada e didática e utilize exemplos práticos para explicar os conceitos.
+### Input:
+{input}
+### Response:
+"""
+
+    def __call__(self, data: Dict[str, Any]) -> Dict[str, Any]:
+        """
+        Processa a entrada e retorna a resposta do modelo.
+        
+        Args:
+            data: Dicionário contendo a entrada do usuário
+                 Formato esperado: {"text": "pergunta do usuário"}
+        
+        Returns:
+            Dict contendo a resposta do modelo
+        """
+        try:
+            # Extrai o texto da entrada
+            input_text = data.get("text", "")
+            if not input_text:
+                return {"error": "Input text is required"}
+
+            # Formata o prompt
+            formatted_prompt = self.prompt_template.format(input=input_text)
+
+            # Gera a resposta
+            response = self.model(
+                prompt=formatted_prompt,
+                max_tokens=2096,
+                temperature=0.5,
+                top_p=0.95,
+                top_k=50,
+                stop=['### Response:', '### Input:', '### Instruction:'],
+                echo=True
+            )
+
+            # Extrai a resposta do modelo
+            response_text = response['choices'][0]['text']
+            
+            # Processa a resposta para extrair apenas a parte após "### Response:"
+            if "### Response:" in response_text:
+                answer = response_text.split("### Response:")[1].strip()
+            else:
+                answer = response_text.strip()
+
+            return {"response": answer}
+
+        except Exception as e:
+            return {"error": f"Error during inference: {str(e)}"}
+
+    def preprocess(self, text: str) -> str:
+        """
+        Pré-processa o texto de entrada se necessário
+        """
+        # Remove espaços extras e normaliza quebras de linha
+        text = " ".join(text.split())
+        return text.strip()
+
+    def validate_input(self, text: str) -> bool:
+        """
+        Valida a entrada do usuário
+        """
+        if not text or len(text.strip()) == 0:
+            return False
+        return True