Spaces:
Runtime error
Runtime error
from pinecone_quieries import PineconeProposalQueries | |
import streamlit as st | |
def show_about_ask2democracy(): | |
description = """ | |
<h2>Sobre esta iniciativa</h2> | |
<p>El debate ciudadano generalmente está sustentado en documentos que salvo pocas excepciones, casi nadie lee. | |
En este demo se han indexado algunos textos relevantes para la discución pública que suelen estar dispersos y poco accesibles. Además, se apoya en el estado del arte de la inteligencia artificial (abajo más detalles) , permitiendo explorar los documentos haciéndoles preguntas en español. | |
<p> | |
También se busca contribuir a la inteligencia artificial abierta y en español, mediante la construcción de un dataset y el entrenamiento de un modelo de lenguaje adaptado para las discusiones ciudadanas. Algo que puede ayudar a elevar la calidad del debate en todos los países de habla hispana. | |
<p> | |
Textos indexados: Propuesta reforma pensional de Marzo 22 de 2023, Propuesta reforma de la salud del 13 febrero 2023 , Capítulo de hallazgos y recomendaciones de la comisión de la verdad (trabajo en progreso, si quieres apoyar escríbeme) | |
<div align="right"> | |
Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a href="https://www.linkedin.com/in/henaojorge" target='_blank'>LinkedIn</a> <a href="https://linktr.ee/jorgehenao" target='_blank'>Linktree</a> | |
</div> | |
<p> | |
<h2>¿Cómo utilizar este espacio?</h2> | |
Selecciona el de documento que quieres explorar en el panel de la izquierda, escribe preguntas en la caja de texto y presiona el botón. | |
No se trata de un sistema de búsquedas basado en palabras clave, por el contrario, puedes redactar preguntas más extensas y elaboradas. Cuanto más contexto le des a la pregunta mejores resultados obtienes. | |
<h2>Integración opcional con OpenAI</h2> | |
Este demo usa recursos de computo limitados de Hugging Face y una base de datos vectorial Pinecone sin costo para la gente (si quieres ayudar a que sea más rápido ecríbeme). | |
De manera opcional, si tienes una cuenta en OpenAI también puedes activar la integración copiando tu API key en el panel de la izquierda. | |
Una vez ingreses el api key, cada vez que hagas una pregunta el sistema la usará para elaborar una respuesta breve a partir de los resultados de búsqueda obtenidos, basándose siempre en las fuentes oficiales. | |
También puedes configurar que tan larga quieres que sea la respuesta (max tokens), y que tan creativas (temperatura). | |
<p><p><b>Nota:El sistema no guarda tu API key, sólo la utiliza para aumentar tus consultas mientras lo uses.</b> | |
<h2>Inteligencia artificial y democracia</h2> | |
Pretende ayudar a construir democracia participativa apaloncándose en el estado del arte de la inteligencia artificial. | |
Al ser un demo accesible en web, puede ayudarle a un ciudadano del común a tener una opinión más informada, ayudándole a ser partícipe del debate público haciendo preguntas directamente a las fuentes en su propio lenguaje y llegando a sus propias conclusiones. | |
<p><p> | |
Respecto a la inteligencia artificial hay algunas hipótesis que se quieren probar: | |
<ul> | |
<li> ¿Que tan efectivo puede ser un sistema de búsquedas con modelos de inteligencia artificial abiertos, para ayudar a la gente a entender discuciones ciudadanas relevantes en español? </li> | |
<li> ¿Que tan creativa puede ser la ingeligencia artificial en esa materia?</li> | |
<li> ¿Puede la inteligencia artificial abierta, ayudarle a la gente a entender documentos legislativos: propuestas de reforma, planes de gobierno, y en general documentos de discución pública?</li> | |
<li> ¿Puede la inteligencia artificial abierta igualar o mejorar sistemas como ChatGPT/GPT-4 de OpenAI para el entendimiento de discusiones ciudadanas en español?</li> | |
</ul> | |
Por lo anterior se prentende la construcción de un dataset. Dataset usado para entrenar(fine-tunning) uno o más modelos(Bert/GPT-2/Alpaca...) adapatado a discuciones ciudadanas en español. | |
Algo que puede ayudar a elevar el nivel del debate público en paises de habla hispana. | |
<h2>Ask2Democracy v0.3</h2> | |
Esta version usa sentence transformers (Cosine similarity), una base de dactos vectorial Pinecone para almacenar los embeddings, <a href= "https://github.com/deepset-ai/haystack">Haystack framework</a> y la integración con OpenAI. | |
Los modelos de lenguaje transformers utilizados son: | |
<code> | |
sentence-transformers/multi-qa-MiniLM-L6-cos-v1 | |
deepset/xlm-roberta-base-squad2-distilled | |
</code> | |
<a href= "https://github.com/jorge-henao/ask_to_democracy"> repo en github con FastAPI</a> | |
<h2>Beta disclaimer</h2> | |
Las respuestas que arroja el sistema no han sido pregrabadas ni basadas en opiniones. Todas son respuestas extraídas de fuentes oficiales. | |
Este demo usa modelos de lenguaje para entender el lenguaje español, sin embargo, necesita de un mayor entrenamiento por lo que, en ocasiones, puede ser confuso y no tan preciso. | |
Si quieres apoyar escríbeme a <a href="mailto:[email protected]">[email protected]</a> | |
</p> | |
""" | |
st.markdown(description, unsafe_allow_html=True) |