Update app.py

app.py

@@ -5,17 +5,15 @@ import torch
 # Cargar el tokenizer del modelo base
 tokenizer = AutoTokenizer.from_pretrained("unsloth/meta-llama-3.1-8b-bnb-4bit")
 
-# Cargar el modelo base con soporte de 4 bits
-model = AutoModelForCausalLM.from_pretrained("unsloth/meta-llama-3.1-8b-bnb-4bit", 
-                                             load_in_4bit=True, 
-                                             device_map="auto")
+# Cargar el modelo base sin 4-bit ni CUDA, para que funcione en CPU
+model = AutoModelForCausalLM.from_pretrained("unsloth/meta-llama-3.1-8b-bnb-4bit")
 
 # Cargar el adaptador LoRA
 model.load_adapter("JuanCabs/lapepav1", source="hf")
 
 # Función para generar texto con el modelo
 def generar_respuesta(prompt):
-    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
+    inputs = tokenizer(prompt, return_tensors="pt")
     outputs = model.generate(**inputs, max_length=100)
     return tokenizer.decode(outputs[0], skip_special_tokens=True)