LLM-AviationV2: Innovaci贸n AI en los Cielos
Descripci贸n del Modelo
Desarrollado por Edison Bejarano y Nicolas Potes, este modelo representa un avance revolucionario en la utilizaci贸n de la tecnolog铆a de Modelos de Lenguaje (LM) dentro del sector aeron谩utico, espec铆ficamente dise帽ado para mejorar la comprensi贸n y accesibilidad del Reglamento Aeron谩utico Colombiano (RAC). Entrenado en una Tesla V100-SXM2-16GB, el modelo LLM-AviationV2 se embarca en un viaje para navegar el complejo panorama regulatorio con una eficiencia y perspicacia sin precedentes.
- Desarrollado por: Edison Bejarano - Sergio Nicolas - Santiago Pineda
- Tipo de modelo: Versi贸n afinada de
google/gemma-2b-it - Idiomas (NLP): Espa帽ol (es)
- Licencia: Apache-2.0
- Afinado a partir del modelo:
google/gemma-2b-it
Fuentes del Modelo
- URL en Hugging Face: ejbejaranos/LLM-AviationV2
Usos
Uso Directo
El modelo LLM-AviationV2 est谩 dise帽ado para aplicaciones directas en tareas de generaci贸n de texto, con el objetivo de simplificar la interpretaci贸n y aplicaci贸n de las regulaciones aeron谩uticas. Su funci贸n principal es servir a profesionales y entusiastas del campo de la aeron谩utica, proporcionando acceso inmediato a informaci贸n comprensible extra铆da del RAC.
Detalles de Entrenamiento
Datos de Entrenamiento
El modelo LLM-AviationV2 fue afinado utilizando el dataset RAC_Colombia_QualityImproved025, el cual representa una versi贸n mejorada en t茅rminos de calidad del Reglamento Aeron谩utico Colombiano. Este dataset fue curado y mejorado por el equipo de SomosNLP, con el objetivo de proporcionar una base de datos m谩s precisa y relevante para tareas de procesamiento de lenguaje natural relacionadas con la aviaci贸n.
Para m谩s detalles sobre este dataset, puedes consultar la documentaci贸n y los metadatos a trav茅s del siguiente enlace:
Dataset RAC_Colombia_QualityImproved025 en Hugging Face
Procedimiento de Entrenamiento y Resultados
Hiperpar谩metros de Entrenamiento para LLM-AviationV2
- Tipo de GPU: Tesla V100-SXM2-16GB
- Tiempo Total de Entrenamiento: Aprox. 70 minutos (4239 segundos)
- Tasa de Aprendizaje: 0.00005
- Optimizador: Paged AdamW 8bit
- Pasos M谩ximos: 258
- Tama帽o de Secuencia: 1024 (presumido)
- Tama帽o de Lote por Dispositivo: 3
Velocidades, Tama帽os, Tiempos para LLM-AviationV2
- Tiempo de Entrenamiento: 882.68 segundos
- Muestras por Segundo en Entrenamiento: 2.338
- Pasos por Segundo en Entrenamiento: 0.585
Hiperpar谩metros de Entrenamiento para LLMs-AviationV3
- Tipo de GPU: NVIDIA A100-SXM4-40GB
- Tiempo Total de Entrenamiento: Aprox. 50 minutos (3007 segundos)
- Tasa de Aprendizaje: 0.00005
- Optimizador: Paged AdamW 8bit
- Pasos M谩ximos: 1638
- Tama帽o de Secuencia: 2048
- Tama帽o de Lote por Dispositivo: 1
- Versi贸n de Transformers: 4.39.0
- Funci贸n de Activaci贸n: gelu_pytorch_tanh
Velocidades, Tama帽os, Tiempos para LLMs-AviationV3
- Tiempo de Entrenamiento: 1641.78 segundos
- Muestras por Segundo en Entrenamiento: 3.991
- Pasos por Segundo en Entrenamiento: 0.998
Comparaci贸n de Modelos
Al comparar los modelos, observamos mejoras significativas en la versi贸n LLMs-AviationV3. La expansi贸n del tama帽o de la secuencia a 2048 y la reducci贸n del tama帽o de lote por dispositivo a 1, junto con el incremento en los pasos m谩ximos a 1638, han demandado m谩s recursos pero han resultado en un aumento notable en la calidad del modelo. Adem谩s, la actualizaci贸n a la versi贸n 4.39.0 de Transformers y el cambio en la funci贸n de activaci贸n a gelu_pytorch_tanh para LLMs-AviationV3 han contribuido a este avance cualitativo.
Resultados
El modelo ha demostrado una capacidad significativa para comprender y generar contenido regulatorio aeron谩utico en espa帽ol, convirti茅ndose en un valioso recurso para la industria.
Actualmente vamos en la tercera version en donde hemos conseguido mejorar previas versiones:
Evaluaci贸n
Se esta desarrollando un espacio para que expertos en el campo puedan realizar una evalucacion por el momento tenemos estos dos para nuestros mejores modelos :
https://somosnlp-rac-col-v1.hf.space
Impacto Ambiental
El entrenamiento de LLM-AviationV2 se llev贸 a cabo con una consideraci贸n cuidadosa de su huella ambiental, optimizando para la eficiencia y minimizando el gasto computacional innecesario.
- Tipo de Hardware: Tesla V100-SXM2-16GB
- Horas Utilizadas: Aproximadamente 0.52 horas
- Consumo de Energ铆a: Aproximadamente 0.156 kWh
- Emisiones de CO2 Estimadas: Aproximadamente 0.0741 kg
Estas cifras subrayan nuestro compromiso con la sostenibilidad y la reducci贸n del impacto ambiental en el desarrollo de tecnolog铆as de inteligencia artificial.
Especificaciones T茅cnicas
Infraestructura de C贸mputo
Hardware
El entrenamiento se realiz贸 en una Tesla V100-SXM2-16GB, elegida por su equilibrio entre rendimiento y eficiencia energ茅tica.
Software
- Versi贸n de Transformers: 4.38.0
- Entorno de Entrenamiento: Proporcionado por la biblioteca Hugging Face Transformers.
M谩s Informaci贸n
Para obtener informaci贸n m谩s detallada sobre LLM-AviationV2, incluido el acceso al modelo y sus capacidades completas, por favor visita nuestro repositorio en Hugging Face.
LLM-AviationV2).
- Downloads last month
- 6