Hugging Face's logo

Spaces:
reichaves
/
Chatbot-with-MaritacaAI-for-PDFs
Running

App Files Community
Chatbot-with-MaritacaAI-for-PDFs
File size: 4,905 Bytes 
4e7f38e
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
cedba83
4e7f38e
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3be2678
 
4e7f38e
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3be2678
4e7f38e
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
 
---
title: Chatbot-with-MaritacaAI-for-PDFs
emoji: 📚
colorFrom: indigo
colorTo: blue
sdk: streamlit
sdk_version: 1.28.0
app_file: app.py
pinned: false
---

# Chatbot with MaritacaAI for PDFs

[![Hugging Face Spaces](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https://huggingface.co./spaces/reichaves/Chatbot-with-MaritacaAI-for-PDFs)
[![Streamlit App](https://static.streamlit.io/badges/streamlit_badge_black_white.svg)](https://chatbotmaritacaai-jkiyzmcjcuvduw5dzymwu5.streamlit.app/)

Este projeto implementa um sistema de Recuperação de Informações Aumentada por Geração (RAG) conversacional usando Streamlit, LangChain, e modelos de linguagem de grande escala da [MaritacaAI](https://www.maritaca.ai/) - startup brasileira focada em especializar modelos de linguagem para certos domínios e idiomas - especializada no Português Brasileiro. O aplicativo permite que os usuários façam upload de documentos PDF, façam perguntas sobre o conteúdo desses documentos, e mantenham um histórico de chat para contexto em conversas contínuas.

## Autor

Reinaldo Chaves ([email protected])

## Características

- Interface de usuário Streamlit com tema dark e layout responsivo
- Upload e processamento de múltiplos arquivos PDF
- Processamento de documentos usando LangChain e FAISS
- Geração de respostas usando o modelo sabia-3 da Maritaca AI especializado em Português do Brasil
- Embeddings de texto usando o modelo all-MiniLM-L6-v2 do Hugging Face
- Histórico de chat persistente para manter o contexto da conversa
- Barra lateral com orientações importantes para o usuário
- Contagem de tokens por resposta
- Formatação especial para documentos jurídicos e pedidos LAI

## Requisitos

- Python 3.7+
- Streamlit
- LangChain
- FAISS
- PyPDF2
- MaritalkAI
- HuggingFace Embeddings
- Outras dependências listadas em `requirements.txt`

## Instalação

1. Clone este repositório:
   ```
   git clone https://github.com/reichaves/chatbotmaritacaai.git
   cd chatbotmaritacaai
   ```

2. Instale as dependências:
   ```
   pip install streamlit langchain langchain_huggingface maritalk faiss-cpu tenacity cachetools
   ```

3. Configure as chaves de API necessárias:
   - Chave da API Maritaca AI (https://plataforma.maritaca.ai/)
   - Token da API Hugging Face (https://huggingface.co./docs/hub/security-tokens)

## Uso

1. Execute o aplicativo Streamlit:
   ```
   streamlit run app.py
   ```

2. Abra o navegador e acesse o endereço local mostrado no terminal.
3. Insira suas chaves de API quando solicitado.
4. Faça upload de um ou mais arquivos PDF.
5. Faça perguntas sobre o conteúdo dos documentos na caixa de entrada de texto.

## Como funciona

1. **Upload de Documentos**: Os usuários fazem upload de arquivos PDF, que são processados e divididos em chunks menores.
2. **Criação de Embeddings**: O texto é convertido em embeddings usando o modelo all-MiniLM-L6-v2 do Hugging Face.
3. **Armazenamento de Vetores**: Os embeddings são armazenados em um banco de dados FAISS para recuperação eficiente.
4. **Processamento de Perguntas**: As perguntas dos usuários são contextualizadas com base no histórico do chat.
5. **Recuperação de Informações**: O sistema recupera os chunks de texto mais relevantes com base na pergunta.
6. **Geração de Respostas**: O modelo sabia-3 da Maritaca AI gera uma resposta em Português do Brasil com base nos chunks recuperados e na pergunta.
7. **Manutenção do Histórico**: O histórico do chat é mantido para fornecer contexto em conversas contínuas.

## Funcionalidades Especiais

- Formatação especial para análise de documentos jurídicos
- Processamento detalhado de documentos da Lei de Acesso à Informação (LAI)
- Sistema de cache para melhor performance
- Tratamento de erros robusto
- Interface adaptativa que mantém o contexto da conversa

## Avisos Importantes

- Não compartilhe documentos contendo informações sensíveis ou confidenciais
- As respostas geradas pela IA podem conter erros ou imprecisões
- Sempre verifique as informações com as fontes originais
- Este projeto é para fins educacionais e de demonstração
- Use com responsabilidade e em conformidade com as políticas de uso das APIs

## Contribuições

Contribuições são bem-vindas! Por favor:
1. Faça um fork do projeto
2. Crie uma branch para sua feature (`git checkout -b feature/AmazingFeature`)
3. Commit suas mudanças (`git commit -m 'Add some AmazingFeature'`)
4. Push para a branch (`git push origin feature/AmazingFeature`)
5. Abra um Pull Request

## Licença

[MIT License](LICENSE)

## Citação

Se você usar este projeto em sua pesquisa ou aplicação, por favor cite:

```
@software{chatbot-maritacaai-pdfs,
  author = {Reinaldo Chaves},
  title = {Chatbot with MaritacaAI for PDFs},
  year = {2024},
  url = {https://github.com/reichaves/chatbotmaritacaai/}
}
```