Update README.md

README.md

@@ -1,3 +1,95 @@
+---
+language:
+- pt
+- en
+license: cc-by-nc-2.0
+tags:
+- text-generation-inference
+- transformers
+- qwen
+- gguf
+- brazil
+- brasil
+- 72bb
+- portuguese
+base_model: Qwen/Qwen1.5-72B-Chat
+pipeline_tag: text-generation
+
+---
+# Cabra 72b
+<img src="https://uploads-ssl.webflow.com/65f77c0240ae1c68f8192771/6611c4d5c4e2b5eaea0b979c_cabra72b.png" width="400" height="400">
+
+Cabra 72b é um finetune do [Qwen 1.5 72b Chat](https://huggingface.co/Qwen/Qwen1.5-72B-Chat) com o dataset Cabra 30k. Esse modelo é otimizado para português e responde em portuguese. Ele apresenta melhoria em vários benchmarks brasileiros em comparação com o modelo base.   
+
+
+**Conheça os nossos outros [modelos Cabra](https://huggingface.co/collections/botbot-ai/models-6604c2069ceef04f834ba99b).**
+
+## Detalhes do modelo base
+
+### Modelo: Qwen 1.5 72b chat
+
+Qwen1.5 é uma série de modelos de linguagem que inclui modelos de linguagem decodificadores de diferentes tamanhos de modelo. Para cada tamanho, lançamos o modelo de linguagem base e o modelo de chat alinhado. Baseia-se na arquitetura Transformer com ativação SwiGLU, viés de atenção QKV, atenção de consulta em grupo, mistura de atenção de janela deslizante e atenção completa, etc. Adicionalmente, temos um tokenizador melhorado adaptativo a múltiplas línguas naturais e códigos. Para a versão beta, temporariamente não incluímos GQA e a mistura de SWA e atenção completa.
+
+### dataset: Cabra 30k
+
+Dataset interno para fine-tuning. Vamos lançar em breve. 
+
+### Quantização / GGUF
+
+Versões (GGUF) quantanizadas no branch "quantanization" em breve. 
+
+### Exemplo
+
+```
+<s> [INST]Quem são os jogadores brasileiros de futebol mais conhecidos, atuais e pasados? [/INST] 
+
+O Brasil tem uma rica história na produção de alguns dos maiores jogadores de futebol do mundo. Alguns dos jogadores brasileiros mais importantes atualmente e que já jogaram incluem:
+
+Pelé - amplamente considerado um dos maiores jogadores de todos os tempos, o Pelé venceu três Copas do Mundo com o Brasil e marcou mais de 1.000 gols em sua carreira.
+Ronaldo Nazário de Lima - conhecido como Ronaldo, este jogador de ataque é o segundo maior artilheiro da história da seleção brasileira e ajudou o Brasil a vencer duas Copas do Mundo.
+
+Ronaldinho Gaúcho - um criativo meio-campista ofensivo que jogou pelo Barcelona e pela AC Milan, o Ronaldinho foi nomeado Jogador Mundial FIFA de 2004 e ajudou o Brasil a vencer a Copa do Mundo de 2002.
+
+Neymar Jr. - um dos melhores jogadores do mundo hoje, o Neymar desempenhou um papel fundamental ao liderar o Brasil para várias vitórias em torneios principais e é conhecido por suas habilidades incríveis de drible e capacidade de marcar gols.
+
+Esses são apenas alguns exemplos dos muitos talentosos jogadores de futebol que vieram do Brasil ao longo de sua rica história.
+</s>
+
+```
+
+### Paramentros de trainamento
+
+```
+- train/epoch: 3
+- train/global_step: 1,893
+- train/grad_norm: 0.5843151168226935
+- train/learning_rate: 0.00000000006323276533
+- train/loss: 0.4379
+- train/total_flos: 7,334,660,338,089,984
+- train/train_loss: 0.628420232404053
+- train/train_runtime: 415,863.2395
+- train/train_samples_per_second: 0.437
+- train/train_steps_per_second: 0.005
+- GPU: 8x A100 80GB SXB
+```
+
+### Framework
+
+- Transformers 4.39.0.dev0
+- Pytorch 2.1.2+cu118
+- Datasets 2.14.6
+- Tokenizers 0.15.2
+
+## Uso
+O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:
+
+- Pesquisa sobre modelos gerativos.
+- Investigação e compreensão das limitações e vieses de modelos gerativos.
+
+**Proibido para uso comercial. Somente Pesquisa. Entre em contato para mais informações. **
+
+### Evals
+
 | Tasks                        | Version | Filter                | n-shot | Metric   | Value | ±  | Stderr |
 |------------------------------|---------|-----------------------|--------|----------|-------|----|--------|
 | assin2_rte                   | 1.1     | all                   | 15     | f1_macro | 0.9358| ±  | 0.0035 |
@@ -38,6 +130,3 @@
 | hatebr_offensive_binary      | 1.0     | all                   | 25     | f1_macro | 0.7212| ±  | 0.0087 |
 |                              |         | all                   | 25     | acc      | 0.7393| ±  | 0.0083 |
 | oab_exams                    | 1.5     | all                   | 3      | acc      | 0.5718| ±  | 0.0061 |
-|                              |         | exam_id__2014-15      | 3      | acc      | 0.6795| ±  | 0.0305 |
-|                              |         | exam_id__2012-09      | 3      | acc      | 0.4805| ±  | 0.0329 |
-...