Hugging Face's logo

Spaces:
reichaves
/
Chatbot-with-MaritacaAI-for-PDFs
Sleeping

App Files Community
Chatbot-with-MaritacaAI-for-PDFs
File size: 5,053 Bytes 
52f6e9d
 
 
 
 
 
 
 
 
 
 
 
 
9a747d1
52f6e9d
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
 
---
title: Chatbot-com-MaritacaAI-para-PDFs
emoji: 📚
colorFrom: indigo
colorTo: blue
sdk: streamlit
sdk_version: 1.28.0
app_file: app.py
pinned: false
---

# Chatbot com MaritacaAI para PDFs

[Read this README in English](README.md)

[![Hugging Face Spaces](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https://huggingface.co./spaces/reichaves/Chatbot-with-MaritacaAI-for-PDFs)
[![Streamlit App](https://static.streamlit.io/badges/streamlit_badge_black_white.svg)](https://chatbotmaritacaai-jkiyzmcjcuvduw5dzymwu5.streamlit.app/)

Este projeto implementa um sistema de Geração Aumentada por Recuperação (RAG, na sigla em inglês) conversacional usando Streamlit, LangChain e modelos de linguagem grandes da [MaritacaAI](https://www.maritaca.ai/) - uma startup brasileira focada na especialização de modelos de linguagem para domínios e idiomas específicos - especializado em Português do Brasil. O aplicativo permite aos usuários fazer upload de documentos em PDF, fazer perguntas sobre seu conteúdo e manter um histórico de conversas para contexto em diálogos contínuos.

## Autor

Reinaldo Chaves ([email protected])

## Funcionalidades

- Interface de usuário em Streamlit com tema escuro e layout responsivo
- Upload e processamento de múltiplos arquivos PDF
- Processamento de documentos utilizando LangChain e FAISS
- Geração de respostas usando o modelo sabia-3 da MaritacaAI, especializado em Português do Brasil
- Criação de embeddings de texto utilizando o modelo all-MiniLM-L6-v2 da Hugging Face
- Histórico de chat persistente para manter o contexto das conversas
- Barra lateral com diretrizes importantes para o usuário
- Contagem de tokens por resposta
- Formatação especial para documentos jurídicos e solicitações baseadas na Lei de Acesso à Informação (LAI)

## Requisitos

- Python 3.7 ou superior
- Streamlit
- LangChain
- FAISS
- PyPDF2
- MaritalkAI
- HuggingFace Embeddings
- Outras dependências listadas em `requirements.txt`

## Instalação

1. Clone este repositório:
 ```
   git clone https://github.com/reichaves/chatbotmaritacaai.git
   cd chatbotmaritacaai
   ```

2. Instale as dependências:
    ```
   pip install streamlit langchain langchain_huggingface maritalk faiss-cpu tenacity cachetools
   ```

3. Configure as chaves de API necessárias:
- Chave da API da MaritacaAI (https://plataforma.maritaca.ai/)
- Token de API da Hugging Face (https://huggingface.co./docs/hub/security-tokens)

## Uso

1. Execute o aplicativo Streamlit:
 ```
   streamlit run app.py
   ```


2. Abra o navegador e acesse o endereço local exibido no terminal.
3. Insira suas chaves de API quando solicitado.
4. Faça o upload de um ou mais arquivos PDF.
5. Faça perguntas sobre o conteúdo dos documentos no campo de entrada de texto.

## Como funciona

1. **Upload de documentos**: Os usuários fazem o upload de arquivos PDF, que são processados e divididos em partes menores.
2. **Criação de embeddings**: O texto é convertido em embeddings usando o modelo all-MiniLM-L6-v2 da Hugging Face.
3. **Armazenamento vetorial**: Os embeddings são armazenados em um banco de dados FAISS para recuperação eficiente.
4. **Processamento de perguntas**: As perguntas dos usuários são contextualizadas com base no histórico do chat.
5. **Recuperação de informações**: O sistema recupera os trechos de texto mais relevantes com base na pergunta.
6. **Geração de respostas**: O modelo sabia-3 da MaritacaAI gera uma resposta em Português do Brasil com base nos trechos recuperados e na pergunta.
7. **Manutenção do histórico**: O histórico do chat é mantido para fornecer contexto em conversas contínuas.

## Funcionalidades especiais

- Formatação especial para análise de documentos jurídicos
- Processamento detalhado de documentos relacionados à Lei de Acesso à Informação (LAI)
- Sistema de cache para melhor desempenho
- Tratamento robusto de erros
- Interface adaptável que mantém o contexto das conversas

## Avisos importantes

- Não compartilhe documentos que contenham informações sensíveis ou confidenciais
- As respostas geradas por IA podem conter erros ou imprecisões
- Sempre verifique as informações com as fontes originais
- Este projeto é para fins educacionais e de demonstração
- Use de forma responsável e em conformidade com as políticas de uso de API

## Contribuições

Contribuições são bem-vindas! Por favor:
1. Faça um fork do projeto
2. Crie um branch para sua funcionalidade (`git checkout -b feature/AmazingFeature`)
3. Commit suas alterações (`git commit -m 'Add some AmazingFeature'`)
4. Envie para o branch (`git push origin feature/AmazingFeature`)
5. Abra um Pull Request

## Licença

[Licença MIT](LICENSE)

## Citação

Se você usar este projeto em sua pesquisa ou aplicação, por favor cite:

```
@software{chatbot-maritacaai-pdfs,
  author = {Reinaldo Chaves},
  title = {Chatbot with MaritacaAI for PDFs},
  year = {2024},
  url = {https://github.com/reichaves/chatbotmaritacaai/}
}
```