|
--- |
|
library_name: transformers |
|
tags: |
|
- unsloth |
|
- LLMs-Aviation |
|
- AI-Regulatory-Compliance |
|
- RAC-AI-Colombia |
|
license: apache-2.0 |
|
datasets: |
|
- somosnlp/ColombiaRAC_FullyCurated |
|
language: |
|
- es |
|
widget: |
|
- text: > |
|
<bos><start_of_turn>system\n\nYou are a helpful AI assistant.\n\nResponde en formato json.\n\nEres un agente experto en la normativa aeronautica Colombiana.<end_of_turn>\n\n<start_of_turn>user\n\n¿Qué sucede con las empresas de servicios aéreos comerciales que no hayan actualizado su permiso de operación después del 31 de marzo de 2024?<end_of_turn>\n\n<start_of_turn>model |
|
--- |
|
|
|
# GemmaColRAC-AeroExpertV4 🛫 |
|
## Trained from the RAC Colombia dataset 🛫 |
|
Este documento proporciona una visión general de `GemmaColRAC-AeroExpertV4`, la cuarta versión de nuestro modelo de lenguaje especializado en regulaciones aeronáuticas colombianas. Esta versión representa un avance importante gracias a la mejora en precisión y eficiencia en el uso de los recursos de GPU, destacando nuestro esfuerzo continuo por desarrollar tecnologías de IA sostenibles y de alta calidad para la industria aeronáutica. |
|
|
|
|
|
<p align="center"> |
|
<img src="https://cdn-uploads.huggingface.co/production/uploads/6419c2f6b4adb0e101b17b6c/AtIsZS7aXJLZQjlZV5rBO.png" alt="Imagen relacionada con el Reglamento Aeronáutico Colombiano" style="width: 40%; max-height: 550px;"> |
|
</p> |
|
|
|
|
|
|
|
## Hiperparámetros de Entrenamiento |
|
|
|
- **Tipo de GPU:** NVIDIA A100-SXM4-40GB |
|
- **Tiempo Total de Entrenamiento:** Aproximadamente 50 minutos (3007 segundos) |
|
- **Tasa de Aprendizaje:** 0.00005 |
|
- **Optimizador:** Paged AdamW 8bit |
|
- **Pasos Máximos:** 1638 |
|
- **Tamaño de Secuencia:** 2048 |
|
- **Tamaño de Lote por Dispositivo:** 1 |
|
- **Versión de Transformers:** 4.39.0 |
|
- **Función de Activación:** gelu_pytorch_tanh |
|
- **Framework de Optimización:** Unsloth 2024.4 |
|
|
|
## Innovaciones en Eficiencia con Unsloth |
|
|
|
`GemmaColRAC-AeroExpertV4` integra [Unsloth](https://www.determined.ai/blog/weekly-update-7#:~:text=Unsloth%20is%20an%20open%20source,out%20our%20HF%20Trainer%20examples), un framework de optimización que mejora la eficiencia en el entrenamiento de modelos de IA. Unsloth ha permitido reducir significativamente el tiempo y los recursos de GPU requeridos, logrando un entrenamiento más rápido y ecológico. |
|
|
|
## Comparación de Modelos |
|
|
|
La versión `GemmaColRAC-AeroExpertV4` muestra mejoras significativas sobre las versiones anteriores. La optimización en el uso de recursos, junto con la ampliación del tamaño de la secuencia, ha resultado en una mayor calidad y eficiencia del modelo. |
|
|
|
## Resultados |
|
|
|
`GemmaColRAC-AeroExpertV4` ha demostrado una capacidad excepcional para comprender y generar contenido regulatorio aeronáutico en español, siendo un recurso valioso para la industria. |
|
|
|
## Evaluación |
|
|
|
Para la evaluación de `GemmaColRAC-AeroExpertV4`, hemos habilitado plataformas para que expertos en el campo realicen pruebas. Visita: |
|
|
|
- [Evaluación de GemmaColRAC-AeroExpertV4](https://somosnlp-rac-col-v1.hf.space) |
|
|
|
## Impacto Ambiental |
|
|
|
El desarrollo de `GemmaColRAC-AeroExpertV4` se ha llevado a cabo con un enfoque en la sostenibilidad, optimizando la eficiencia y minimizando el impacto ambiental. |
|
|
|
## Más Información |
|
|
|
Para obtener más detalles sobre `GemmaColRAC-AeroExpertV4`, incluyendo acceso al modelo y sus capacidades completas, visita nuestro [repositorio en Hugging Face](https://huggingface.co./ejbejaranos/GemmaColRAC-AeroExpertV4). |
