Update README.md
Browse files
README.md
CHANGED
@@ -163,23 +163,6 @@ GemmBode é um modelo de linguagem ajustado para o idioma português, desenvolvi
|
|
163 |
- **Dataset para Fine-tuning:** [UltraAlpaca](https://huggingface.co/datasets/recogna-nlp/ultra-alpaca-ptbr)
|
164 |
- **Treinamento:** O treinamento foi realizado a partir do fine-tuning, com QLoRA do gemma-7b-it.
|
165 |
|
166 |
-
# Treinamento
|
167 |
-
|
168 |
-
A seguinte configuração de quantização `bitsandbytes` foi usada durante o treinamento:
|
169 |
-
|
170 |
-
- quant_method: bitsandbytes
|
171 |
-
- _load_in_8bit: False
|
172 |
-
- _load_in_4bit: True
|
173 |
-
- llm_int8_threshold: 6.0
|
174 |
-
- llm_int8_skip_modules: None
|
175 |
-
- llm_int8_enable_fp32_cpu_offload: False
|
176 |
-
- llm_int8_has_fp16_weight: False
|
177 |
-
- bnb_4bit_quant_type: nf4
|
178 |
-
- bnb_4bit_use_double_quant: True
|
179 |
-
- bnb_4bit_compute_dtype: float16
|
180 |
-
- bnb_4bit_quant_storage: uint8
|
181 |
-
- load_in_4bit: True
|
182 |
-
- load_in_8bit: False
|
183 |
|
184 |
# Resultados da avaliação do Open Portuguese LLM Leaderboard
|
185 |
|
|
|
163 |
- **Dataset para Fine-tuning:** [UltraAlpaca](https://huggingface.co/datasets/recogna-nlp/ultra-alpaca-ptbr)
|
164 |
- **Treinamento:** O treinamento foi realizado a partir do fine-tuning, com QLoRA do gemma-7b-it.
|
165 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
166 |
|
167 |
# Resultados da avaliação do Open Portuguese LLM Leaderboard
|
168 |
|