Update app.py

app.py

@@ -4,175 +4,294 @@ import whisper
 import tempfile
 import gradio as gr
 from pydub import AudioSegment
-import fitz  # PyMuPDF for handling PDFs
-import docx  # For handling .docx files
-import pandas as pd  # For handling .xlsx and .csv files
-# from google.colab import userdata  # Import userdata from google.colab
+import fitz  # PyMuPDF para manejar PDFs
+import docx  # Para manejar archivos .docx
+import pandas as pd  # Para manejar archivos .xlsx y .csv
+#from google.colab import userdata  # Importa userdata de google.colab
 import requests
 from bs4 import BeautifulSoup
+from moviepy.editor import VideoFileClip
+import yt_dlp
+import logging
 
-# Configure your OpenAI API key using Google Colab userdata
-# openai.api_key = userdata.get('OPENAI_API_KEY')
+# Configurar logging
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger(_name_)
 
-# Load environment variables from the Hugging Face environment
+# Configura tu clave API de OpenAI usando Google Colab userdata
+#openai.api_key = userdata.get('OPENAI_API_KEY')
+
+# Cargar las variables de entorno desde el entorno de Hugging Face
 openai.api_key = os.getenv("OPENAI_API_KEY")
 
-# Load the highest quality Whisper model once
+# Cargar el modelo Whisper de mayor calidad una vez
 model = whisper.load_model("large")
 
+def download_social_media_video(url):
+    """Descarga un video de redes sociales."""
+    ydl_opts = {
+        'format': 'bestaudio/best',
+        'postprocessors': [{
+            'key': 'FFmpegExtractAudio',
+            'preferredcodec': 'mp3',
+            'preferredquality': '192',
+        }],
+        'outtmpl': '%(id)s.%(ext)s',
+    }
+    try:
+        with yt_dlp.YoutubeDL(ydl_opts) as ydl:
+            info_dict = ydl.extract_info(url, download=True)
+            audio_file = f"{info_dict['id']}.mp3"
+        logger.info(f"Video descargado exitosamente: {audio_file}")
+        return audio_file
+    except Exception as e:
+        logger.error(f"Error al descargar el video: {str(e)}")
+        raise
+
+def convert_video_to_audio(video_file):
+    """Convierte un archivo de video a audio."""
+    try:
+        video = VideoFileClip(video_file)
+        with tempfile.NamedTemporaryFile(delete=False, suffix=".mp3") as temp_file:
+            video.audio.write_audiofile(temp_file.name)
+            logger.info(f"Video convertido a audio: {temp_file.name}")
+            return temp_file.name
+    except Exception as e:
+        logger.error(f"Error al convertir el video a audio: {str(e)}")
+        raise
+
 def preprocess_audio(audio_file):
-    """Preprocess the audio file to improve quality."""
+    """Preprocesa el archivo de audio para mejorar la calidad."""
     try:
         audio = AudioSegment.from_file(audio_file)
         audio = audio.apply_gain(-audio.dBFS + (-20))
         with tempfile.NamedTemporaryFile(delete=False, suffix=".mp3") as temp_file:
             audio.export(temp_file.name, format="mp3")
+            logger.info(f"Audio preprocesado: {temp_file.name}")
             return temp_file.name
     except Exception as e:
-        return f"Error preprocessing the audio file: {str(e)}"
+        logger.error(f"Error al preprocesar el archivo de audio: {str(e)}")
+        raise
 
-def transcribe_audio(audio_file):
-    """Transcribe an audio file."""
+def transcribir_audio(file):
+    """Transcribe un archivo de audio o video."""
     try:
-        file_path = preprocess_audio(audio_file) if isinstance(audio_file, str) else preprocess_audio(tempfile.NamedTemporaryFile(delete=False, suffix=".mp3", mode='w+b').name)
-        result = model.transcribe(file_path)
-        return result.get("text", "Error in transcription")
+        if isinstance(file, str) and file.startswith('http'):
+            logger.info(f"Descargando video de red social: {file}")
+            archivo_path = download_social_media_video(file)
+        elif isinstance(file, str) and file.lower().endswith(('.mp4', '.avi', '.mov', '.mkv')):
+            logger.info(f"Convirtiendo video local a audio: {file}")
+            archivo_path = convert_video_to_audio(file)
+        else:
+            logger.info(f"Preprocesando archivo de audio: {file}")
+            archivo_path = preprocess_audio(file)
+
+        logger.info(f"Transcribiendo audio: {archivo_path}")
+        resultado = model.transcribe(archivo_path)
+        transcripcion = resultado.get("text", "Error en la transcripción")
+        logger.info(f"Transcripción completada: {transcripcion[:50]}...")
+        return transcripcion
     except Exception as e:
-        return f"Error processing the audio file: {str(e)}"
+        logger.error(f"Error al procesar el archivo: {str(e)}")
+        return f"Error al procesar el archivo: {str(e)}"
 
-def read_document(document_path):
-    """Read the content of a PDF, DOCX, XLSX or CSV document."""
+def leer_documento(documento_path):
+    """Lee el contenido de un documento PDF, DOCX, XLSX o CSV."""
     try:
-        if document_path.endswith(".pdf"):
-            doc = fitz.open(document_path)
-            return "\n".join([page.get_text() for page in doc])
-        elif document_path.endswith(".docx"):
-            doc = docx.Document(document_path)
-            return "\n".join([paragraph.text for paragraph in doc.paragraphs])
-        elif document_path.endswith(".xlsx"):
-            return pd.read_excel(document_path).to_string()
-        elif document_path.endswith(".csv"):
-            return pd.read_csv(document_path).to_string()
+        if documento_path.endswith(".pdf"):
+            doc = fitz.open(documento_path)
+            return "\n".join([pagina.get_text() for pagina in doc])
+        elif documento_path.endswith(".docx"):
+            doc = docx.Document(documento_path)
+            return "\n".join([parrafo.text for parrafo in doc.paragraphs])
+        elif documento_path.endswith(".xlsx"):
+            return pd.read_excel(documento_path).to_string()
+        elif documento_path.endswith(".csv"):
+            return pd.read_csv(documento_path).to_string()
         else:
-            return "Unsupported file type. Please upload a PDF, DOCX, XLSX or CSV document."
+            return "Tipo de archivo no soportado. Por favor suba un documento PDF, DOCX, XLSX o CSV."
     except Exception as e:
-        return f"Error reading the document: {str(e)}"
+        return f"Error al leer el documento: {str(e)}"
 
-def read_url(url):
-    """Read the content of a URL."""
+def leer_url(url):
+    """Lee el contenido de una URL."""
     try:
         response = requests.get(url)
         response.raise_for_status()
         soup = BeautifulSoup(response.content, 'html.parser')
         return soup.get_text()
     except Exception as e:
-        return f"Error reading the URL: {str(e)}"
+        return f"Error al leer la URL: {str(e)}"
 
-def generate_news(instructions, facts, size, tone, urls, *args):
-    """Generate a news article based on instructions, facts, URLs, documents, and transcriptions."""
-    knowledge_base = {"instructions": instructions, "facts": facts, "document_content": [], "audio_data": [], "url_content": []}
-    num_audios = 5 * 3  # 5 audios * 3 fields (audio, name, position)
+def procesar_contenido_social(url):
+    """Procesa el contenido de una URL de red social, manejando tanto texto como video."""
+    try:
+        # Primero, intentamos leer el contenido como texto
+        contenido_texto = leer_url(url)
+
+        # Luego, intentamos procesar como video
+        try:
+            contenido_video = transcribir_audio(url)
+        except Exception:
+            contenido_video = None
+
+        return {
+            "texto": contenido_texto,
+            "video": contenido_video
+        }
+    except Exception as e:
+        logger.error(f"Error al procesar contenido social: {str(e)}")
+        return None
+
+def generar_noticia(instrucciones, hechos, tamaño, tono, *args):
+    """Genera una noticia a partir de instrucciones, hechos, URLs, documentos, transcripciones y contenido de redes sociales."""
+    base_de_conocimiento = {
+        "instrucciones": instrucciones,
+        "hechos": hechos,
+        "contenido_documentos": [],
+        "audio_data": [],
+        "contenido_urls": [],
+        "contenido_social": []
+    }
+    num_audios = 5 * 3  # 5 audios/videos * 3 campos (archivo, nombre, cargo)
+    num_social_urls = 3 * 3  # 3 URLs de redes sociales * 3 campos (URL, nombre, contexto)
+    num_urls = 5  # 5 URLs generales
     audios = args[:num_audios]
-    documents = args[num_audios:]
+    social_urls = args[num_audios:num_audios+num_social_urls]
+    urls = args[num_audios+num_social_urls:num_audios+num_social_urls+num_urls]
+    documentos = args[num_audios+num_social_urls+num_urls:]
 
-    for url in urls.split():
+    for url in urls:
         if url:
-            knowledge_base["url_content"].append(read_url(url))
+            base_de_conocimiento["contenido_urls"].append(leer_url(url))
 
-    for document in documents:
-        if document is not None:
-            knowledge_base["document_content"].append(read_document(document.name))
+    for documento in documentos:
+        if documento is not None:
+            base_de_conocimiento["contenido_documentos"].append(leer_documento(documento.name))
 
     for i in range(0, len(audios), 3):
-        audio_file, name, position = audios[i:i+3]
+        audio_file, nombre, cargo = audios[i:i+3]
         if audio_file is not None:
-            knowledge_base["audio_data"].append({"audio": audio_file, "name": name, "position": position})
+            base_de_conocimiento["audio_data"].append({"audio": audio_file, "nombre": nombre, "cargo": cargo})
 
-    transcriptions_text, raw_transcriptions, total_direct_quotes = "", "", 0
+    for i in range(0, len(social_urls), 3):
+        social_url, social_nombre, social_contexto = social_urls[i:i+3]
+        if social_url:
+            contenido_social = procesar_contenido_social(social_url)
+            if contenido_social:
+                base_de_conocimiento["contenido_social"].append({
+                    "url": social_url,
+                    "nombre": social_nombre,
+                    "contexto": social_contexto,
+                    "texto": contenido_social["texto"],
+                    "video": contenido_social["video"]
+                })
+                logger.info(f"Contenido de red social procesado: {social_url}")
 
-    for idx, data in enumerate(knowledge_base["audio_data"]):
+    transcripciones_texto, transcripciones_brutas = "", ""
+
+    for idx, data in enumerate(base_de_conocimiento["audio_data"]):
         if data["audio"] is not None:
-            transcription = transcribe_audio(data["audio"])
-            transcription_text = f'"{transcription}" - {data["name"]}, {data["position"]}'
-            raw_transcription = f'[Audio {idx + 1}]: "{transcription}" - {data["name"]}, {data["position"]}'
-            if total_direct_quotes < len(knowledge_base["audio_data"]) * 0.8:
-                transcriptions_text += transcription_text + "\n"
-                total_direct_quotes += 1
-            else:
-                transcriptions_text += f'{data["name"]} mentioned that {transcription}' + "\n"
-            raw_transcriptions += raw_transcription + "\n\n"
-
-    document_content = "\n\n".join(knowledge_base["document_content"])
-    url_content = "\n\n".join(knowledge_base["url_content"])
-
-    internal_prompt = """
-    Instructions for the model:
-    - Follow the principles of news writing: always try to answer the 5 Ws of a news story in the first paragraph (Who?, What?, When?, Where?, Why?).
-    - Ensure that at least 80% of the quotes are direct and in quotation marks.
-    - The remaining 20% can be indirect quotes.
-    - Do not invent new information.
-    - Be rigorous with the provided facts.
-    - When processing uploaded documents, extract and highlight important quotes and verbatim testimonies from sources.
-    - When processing uploaded documents, extract and highlight key figures.
+            transcripcion = transcribir_audio(data["audio"])
+            transcripcion_texto = f'"{transcripcion}" - {data["nombre"]}, {data["cargo"]}'
+            transcripcion_bruta = f'[Audio/Video {idx + 1}]: "{transcripcion}" - {data["nombre"]}, {data["cargo"]}'
+            transcripciones_texto += transcripcion_texto + "\n"
+            transcripciones_brutas += transcripcion_bruta + "\n\n"
+
+    for data in base_de_conocimiento["contenido_social"]:
+        if data["texto"]:
+            transcripcion_texto = f'[Texto de red social]: "{data["texto"][:200]}..." - {data["nombre"]}, {data["contexto"]}'
+            transcripciones_texto += transcripcion_texto + "\n"
+            transcripciones_brutas += transcripcion_texto + "\n\n"
+        if data["video"]:
+            transcripcion_video = f'[Video de red social]: "{data["video"]}" - {data["nombre"]}, {data["contexto"]}'
+            transcripciones_texto += transcripcion_video + "\n"
+            transcripciones_brutas += transcripcion_video + "\n\n"
+
+    contenido_documentos = "\n\n".join(base_de_conocimiento["contenido_documentos"])
+    contenido_urls = "\n\n".join(base_de_conocimiento["contenido_urls"])
+
+    prompt_interno = """
+    Instrucciones para el modelo:
+    - Debes seguir los principios de una noticia: es decir, procura siempre responder las 5 W de una noticia en el primer párrafo (Who?, What?, When?, Where?, Why?).
+    - Asegúrate de que al menos el 80% de las citas sean directas y estén entrecomilladas.
+    - El 20% restante puede ser citas indirectas.
+    - No inventes información nueva.
+    - Sé riguroso con los hechos proporcionados.
+    - Al procesar los documentos cargados, extrae y resalta citas importantes y testimonios textuales de las fuentes.
+    - Al procesar los documentos cargados, extrae y resalta cifras clave.
+    - Evita usar la fecha al comienzo del cuerpo de la noticia. Empieza directamente con las 5W.
+    - Incluye el contenido de las redes sociales de manera relevante, citando la fuente y proporcionando el contexto adecuado.
+    - Asegúrate de relacionar el contexto proporcionado para el contenido de red social con su transcripción o texto correspondiente.
     """
 
     prompt = f"""
-    {internal_prompt}
-    Write a news article with the following information, including a title, a 15-word hook (additional information that complements the title), and the body content with a size of {size} words. The tone should be {tone}.
-    Instructions: {knowledge_base["instructions"]}
-    Facts: {knowledge_base["facts"]}
-    Additional content from documents: {document_content}
-    Additional content from URLs: {url_content}
-    Use the following transcriptions as direct and indirect quotes (without changing or inventing content):
-    {transcriptions_text}
+    {prompt_interno}
+    Escribe una noticia con la siguiente información, incluyendo un título, un gancho de 15 palabras (el gancho es lo que se conoce en inglés como hook, información adicional que complementa el título), y el cuerpo del contenido cuyo tamaño es {tamaño} palabras. El tono debe ser {tono}.
+    Instrucciones: {base_de_conocimiento["instrucciones"]}
+    Hechos: {base_de_conocimiento["hechos"]}
+    Contenido adicional de los documentos: {contenido_documentos}
+    Contenido adicional de las URLs: {contenido_urls}
+    Utiliza las siguientes transcripciones como citas directas e indirectas (sin cambiar ni inventar contenido):
+    {transcripciones_texto}
     """
 
     try:
-        response = openai.ChatCompletion.create(
-            model="gpt-3.5-turbo",
+        respuesta = openai.ChatCompletion.create(
+            model="gpt-4o-mini",
             messages=[{"role": "user", "content": prompt}],
             temperature=0.1
         )
-        news_article = response['choices'][0]['message']['content']
-        return news_article, raw_transcriptions
+        noticia = respuesta['choices'][0]['message']['content']
+        return noticia, transcripciones_brutas
     except Exception as e:
-        return f"Error generating the news article: {str(e)}", ""
+        logger.error(f"Error al generar la noticia: {str(e)}")
+        return f"Error al generar la noticia: {str(e)}", ""
 
 with gr.Blocks() as demo:
-    gr.Markdown("## All-in-One News Generator")
+    gr.Markdown("## Generador de noticias todo en uno")
     with gr.Row():
         with gr.Column(scale=2):
-            instructions = gr.Textbox(label="Instructions for the news article", lines=2)
-            facts = gr.Textbox(label="Describe the facts of the news", lines=4)
-            size = gr.Number(label="Size of the news body (in words)", value=100)
-            tone = gr.Dropdown(label="Tone of the news", choices=["serious", "neutral", "lighthearted"], value="neutral")
-            urls = gr.Textbox(label="URLs (separated by space)", lines=2)
+            instrucciones = gr.Textbox(label="Instrucciones para la noticia", lines=2)
+            hechos = gr.Textbox(label="Describe los hechos de la noticia", lines=4)
+            tamaño = gr.Number(label="Tamaño del cuerpo de la noticia (en palabras)", value=100)
+            tono = gr.Dropdown(label="Tono de la noticia", choices=["serio", "neutral", "divertido"], value="neutral")
         with gr.Column(scale=3):
-            inputs_list = [instructions, facts, size, tone, urls]
+            inputs_list = [instrucciones, hechos, tamaño, tono]
             with gr.Tabs():
                 for i in range(1, 6):
-                    with gr.TabItem(f"Audio {i}"):
-                        audio = gr.Audio(type="filepath", label=f"Audio {i}")
-                        name = gr.Textbox(label="Name", scale=1)
-                        position = gr.Textbox(label="Position", scale=1)
-                        inputs_list.extend([audio, name, position])
+                    with gr.TabItem(f"Audio/Video {i}"):
+                        file = gr.File(label=f"Audio/Video {i}", type="filepath", file_types=["audio", "video"])
+                        nombre = gr.Textbox(label="Nombre", scale=1)
+                        cargo = gr.Textbox(label="Cargo", scale=1)
+                        inputs_list.extend([file, nombre, cargo])
+                for i in range(1, 4):
+                    with gr.TabItem(f"Red Social {i}"):
+                        social_url = gr.Textbox(label=f"URL de red social {i}", lines=1)
+                        social_nombre = gr.Textbox(label=f"Nombre de persona/cuenta {i}", scale=1)
+                        social_contexto = gr.Textbox(label=f"Contexto del contenido {i}", lines=2)
+                        inputs_list.extend([social_url, social_nombre, social_contexto])
+                for i in range(1, 6):
+                    with gr.TabItem(f"URL {i}"):
+                        url = gr.Textbox(label=f"URL {i}", lines=1)
+                        inputs_list.append(url)
                 for i in range(1, 6):
-                    with gr.TabItem(f"Document {i}"):
-                        document = gr.File(label=f"Document {i}", type="filepath", file_count="single")
-                        inputs_list.append(document)
+                    with gr.TabItem(f"Documento {i}"):
+                        documento = gr.File(label=f"Documento {i}", type="filepath", file_count="single")
+                        inputs_list.append(documento)
 
-    gr.Markdown("---") # Visual separator
+    gr.Markdown("---")  # Separador visual
 
     with gr.Row():
-        transcriptions_output = gr.Textbox(label="Transcriptions", lines=10)
+        transcripciones_output = gr.Textbox(label="Transcripciones", lines=10)
 
-    gr.Markdown("---") # Visual separator
+    gr.Markdown("---")  # Separador visual
 
     with gr.Row():
-        generate = gr.Button("Generate draft")
+        generar = gr.Button("Generar borrador")
     with gr.Row():
-        news_output = gr.Textbox(label="Generated draft", lines=20)
+        noticia_output = gr.Textbox(label="Borrador generado", lines=20)
 
-    generate.click(fn=generate_news, inputs=inputs_list, outputs=[news_output, transcriptions_output])
+    generar.click(fn=generar_noticia, inputs=inputs_list, outputs=[noticia_output, transcripciones_output])
 
 demo.launch(share=True)