|
--- |
|
license: mit |
|
base_model: facebook/mbart-large-50 |
|
tags: |
|
- simplification |
|
- generated_from_trainer |
|
metrics: |
|
- bleu |
|
model-index: |
|
- name: mbart-neutralization |
|
results: [] |
|
--- |
|
|
|
<!-- This model card has been generated automatically according to the information the Trainer had access to. You |
|
should probably proofread and complete it, then remove this comment. --> |
|
|
|
# mbart-neutralization |
|
|
|
This model is a fine-tuned version of [facebook/mbart-large-50](https://huggingface.co./facebook/mbart-large-50) on an unknown dataset. |
|
It achieves the following results on the evaluation set: |
|
- Loss: 0.0181 |
|
- Bleu: 98.7341 |
|
- Gen Len: 18.4896 |
|
|
|
## Model description |
|
|
|
El modelo "laureanadcastro/mbart-neutralization" es un modelo de traducción desarrollado para llevar a cabo la neutralización de género en textos en español. |
|
Utiliza la arquitectura seq2seq y está entrenado para traducir texto en español "normal" a español "inclusivo", donde se neutraliza el género gramatical para hacerlo más inclusivo. |
|
|
|
## Intended uses & limitations |
|
|
|
Este modelo es ideal para casos de uso donde se requiere la traducción de texto en español a una forma más inclusiva y neutral en cuanto al género gramatical. |
|
Es adecuado para aplicaciones que buscan promover la diversidad y la inclusión en el lenguaje escrito. |
|
Sin embargo, es importante tener en cuenta que, aunque el modelo ha sido entrenado con datos específicos para la neutralización de género, puede haber casos donde la neutralización no sea perfecta o no se ajuste al contexto deseado. |
|
|
|
## Training and evaluation data |
|
|
|
El modelo fue entrenado utilizando el conjunto de datos "hackathon-pln-es/neutral-es", también conocido como el "Spanish Gender Neutralization dataset", que contiene ejemplos de texto en español que han sido neutralizados en cuanto al género. |
|
Este conjunto de datos fue tokenizado utilizando el modelo "mbart-large-50". |
|
Durante el entrenamiento, se utilizó la métrica sacrebleu, ampliamente utilizada en el ámbito de la traducción automática, para evaluar el rendimiento del modelo. |
|
|
|
## Training procedure |
|
|
|
### Training hyperparameters |
|
|
|
The following hyperparameters were used during training: |
|
- learning_rate: 5.6e-05 |
|
- train_batch_size: 8 |
|
- eval_batch_size: 8 |
|
- seed: 42 |
|
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 |
|
- lr_scheduler_type: linear |
|
- num_epochs: 2 |
|
|
|
### Training results |
|
|
|
| Training Loss | Epoch | Step | Validation Loss | Bleu | Gen Len | |
|
|:-------------:|:-----:|:----:|:---------------:|:-------:|:-------:| |
|
| No log | 1.0 | 440 | 0.0307 | 91.2911 | 18.25 | |
|
| 0.2343 | 2.0 | 880 | 0.0181 | 98.7341 | 18.4896 | |
|
|
|
|
|
### Framework versions |
|
|
|
- Transformers 4.37.2 |
|
- Pytorch 2.1.0+cu121 |
|
- Datasets 2.17.0 |
|
- Tokenizers 0.15.2 |
|
|
