Spaces:
Runtime error
Runtime error
| from pinecone_quieries import PineconeProposalQueries | |
| import streamlit as st | |
| def show_about_ask2democracy(): | |
| description = """ | |
| <h2>Sobre esta iniciativa</h2> | |
| <p>Muchas de las discusiones que ocurren en Colombia generalmente están sustentadas en documentos que salvo pocas excepciones, casi nadie lee. | |
| En este demo se han indexado algunos textos relevantes para la discución pública que suelen estar dispersos y poco accesibles. Además, se apoya en el estado del arte de la inteligencia artificial (abajo más detalles) para entender preguntas complejas en español. | |
| <p> | |
| También se busca contribuir a la inteligencia artificial abierta y en español, mediante la construcción de un dataset y el entrenamiento de un modelo de lenguaje adaptado para las discusiones ciudadanas. Algo que puede ayudar a elevar la calidad del debate en todos los países de habla hispana. | |
| <p> | |
| Textos indexados: Propuesta reforma pensional de Marzo 22 de 2023, Propuesta reforma de la salud del 13 febrero 2023 , Capítulo de hallazgos y recomendaciones de la comisión de la verdad (trabajo en progreso, si quieres apoyar escríbeme) | |
| <div align="right"> | |
| Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a> <a href="https://linktr.ee/jorgehenao" target='_blank'/>Linktree</a> | |
| </div> | |
| <p> | |
| <h2>¿Cómo utilizar este espacio?</h2> | |
| Selecciona el de documento que quieres explorar en el panel de la izquierda, escribe preguntas en la caja de texto y presiona el botón. | |
| No se trata de un sistema de búsquedas basado en palabras clave, por el contrario, puedes redactar preguntas más extensas y elaboradas. Cuanto más contexto le des a la pregunta mejores resultados obtienes. | |
| <h2>Integración opcional con OpenAI</h2> | |
| Este demo usa recursos de computo limitados de Hugging Face y una base de datos vectorial Pinecone sin costo para la gente (si quieres ayudar a que sea más rápido ecríbeme). | |
| De manera opcional, si tienes una cuenta en OpenAI también puedes activar la integración copiando tu API key en el panel de la izquierda. | |
| Una vez ingreses el api key, cada vez que hagas una pregunta el sistema la usará para elaborar una respuesta breve a partir de los resultados de búsqueda obtenidos, basándose siempre en las fuentes oficiales. | |
| También puedes configurar que tan larga quieres que sea la respuesta (max tokens), y que tan creativas (temperatura). | |
| <p><p><b>Nota:El sistema no guarda tu API key, sólo la utiliza para aumentar tus consultas mientras lo uses.</b> | |
| <h2>Inteligencia artificial y democracia</h2> | |
| Pretende ayudar a construir democracia participativa apaloncándose en el estado del arte de la inteligencia artificial. | |
| Al ser un demo accesible en web, puede ayudarle a un ciudadano del común a tener una opinión más informada, ayudándole a ser partícipe del debate público haciendo preguntas directamente a las fuentes en su propio lenguaje y llegando a sus propias conclusiones. | |
| <p> | |
| Modelos cerrados como ChatGPT /GPT-4 son asombrosos pero alusinan y tienen conocimiento limitado del mundo después de 2021. | |
| Respecto a la inteligencia artificial hay algunas hipótesis que se quieren probar: | |
| - ¿Que tan efectiva puede ser un sistema de búsquedas con un modelo de inteligencia artificial abierto, para ayudar a la gente a entender discuciones ciudadanas relevantes? | |
| - ¿Que tan creativa puede ser en esa materia? | |
| - ¿Puede un modelo de inteligencia artificial abierta, ayudarle a la gente a entender documentos legislativos: propuestas de reforma, planes de gobierno, y en general documentos de discución pública? | |
| - ¿Puede un modelo abierto igualar o mejorar a un modelo como ChatGPT/GPT-4 de OpenAI para el entendimiento de discusiones ciudadanas en español? | |
| <p>Por lo anterior hay tres frentes de experimentación: | |
| -Abstactive Question Answering: Usando modelos de lenguaje para entender el lenguaje español, y extraer respuestas a preguntas complejas. | |
| -Text Generation: Usando modelos de lenguaje para entender el lenguaje español, y generar respuestas a preguntas complejas. | |
| -Rag: Usando modelos de lenguaje para entender el lenguaje español, y generar respuestas a preguntas complejas. | |
| Por lo que se prentende la construcción de un dataset SQuAD. Dataset usado para entrenar(fine-tunning) uno o más modelos(Bert/GPT-2/Apalaca...) adapatado a discuciones ciudadanas en español. | |
| Algo que puede ayudar a elevar el nivel del debate público en paises de habla hispana. | |
| <h2>Ask2Democracy v0.3</h2> | |
| Esta version usa sentence transformers (Cosine similarity), una base de dactos vectorial Pinecone para almacenar los embeddings, <a href= "https://github.com/deepset-ai/haystack">Haystack framework</a> y la integración con OpenAI. | |
| Los modelos transformers de lenguaje utilizados son: | |
| <code> | |
| sentence-transformers/multi-qa-MiniLM-L6-cos-v1 | |
| deepset/xlm-roberta-base-squad2-distilled | |
| </code> | |
| <a href= "https://github.com/jorge-henao/ask_to_democracy"> repo en github con FastAPI</a> | |
| <h2>Beta disclaimer</h2> | |
| Las respuestas que arroja el sistema no han sido pregrabadas ni basadas en opiniones. Todas son respuestas extraídas de fuentes oficiales. | |
| Este demo usa modelos de lenguaje para entender el lenguaje español, sin embargo, necesita de un mayor entrenamiento por lo que, en ocasiones, puede ser confuso y no tan preciso. | |
| Si quieres apoyar escríbeme a <a href="mailto:jorge.henao@diezonce.co">jorge.henao@diezonce.co</a> | |
| </p> | |
| """ | |
| st.markdown(description, unsafe_allow_html=True) |