GemmaColRAC-AeroExpertV4 🛫

Trained from the RAC Colombia dataset 🛫

Este documento proporciona una visión general de GemmaColRAC-AeroExpertV4, la cuarta versión de nuestro modelo de lenguaje especializado en regulaciones aeronáuticas colombianas. Esta versión representa un avance importante gracias a la mejora en precisión y eficiencia en el uso de los recursos de GPU, destacando nuestro esfuerzo continuo por desarrollar tecnologías de IA sostenibles y de alta calidad para la industria aeronáutica.

Imagen relacionada con el Reglamento Aeronáutico Colombiano

Hiperparámetros de Entrenamiento

  • Tipo de GPU: NVIDIA A100-SXM4-40GB
  • Tiempo Total de Entrenamiento: Aproximadamente 50 minutos (3007 segundos)
  • Tasa de Aprendizaje: 0.00005
  • Optimizador: Paged AdamW 8bit
  • Pasos Máximos: 1638
  • Tamaño de Secuencia: 2048
  • Tamaño de Lote por Dispositivo: 1
  • Versión de Transformers: 4.39.0
  • Función de Activación: gelu_pytorch_tanh
  • Framework de Optimización: Unsloth 2024.4

Innovaciones en Eficiencia con Unsloth

GemmaColRAC-AeroExpertV4 integra Unsloth, un framework de optimización que mejora la eficiencia en el entrenamiento de modelos de IA. Unsloth ha permitido reducir significativamente el tiempo y los recursos de GPU requeridos, logrando un entrenamiento más rápido y ecológico.

Comparación de Modelos

La versión GemmaColRAC-AeroExpertV4 muestra mejoras significativas sobre las versiones anteriores. La optimización en el uso de recursos, junto con la ampliación del tamaño de la secuencia, ha resultado en una mayor calidad y eficiencia del modelo.

Resultados

GemmaColRAC-AeroExpertV4 ha demostrado una capacidad excepcional para comprender y generar contenido regulatorio aeronáutico en español, siendo un recurso valioso para la industria.

Evaluación

Para la evaluación de GemmaColRAC-AeroExpertV4, hemos habilitado plataformas para que expertos en el campo realicen pruebas. Visita:

Impacto Ambiental

El desarrollo de GemmaColRAC-AeroExpertV4 se ha llevado a cabo con un enfoque en la sostenibilidad, optimizando la eficiencia y minimizando el impacto ambiental.

Más Información

Para obtener más detalles sobre GemmaColRAC-AeroExpertV4, incluyendo acceso al modelo y sus capacidades completas, visita nuestro repositorio en Hugging Face.

Downloads last month
17
Safetensors
Model size
2.51B params
Tensor type
F32
·
FP16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train somosnlp/GemmaColRAC-AeroExpertV4