Edit model card

Patana Chilean Spanish BERT

Este modelo es una versión fine-tuneada del modelo dccuchile/bert-base-spanish-wwm-cased con español de Chile y español multidialectal.

Descripción

Patana ha sido entrenada con el Chilean Spanish Corpus. Este corpus se compone de textos en español de Chile (noticias, web, reclamos y tweets).

Este modelo se caracteriza por presentar resultados sobresalientes respecto a otros modelos BERT en español (y su familia) en tareas que involucren español de Chile.

Hiperparámetros de entrenamiento

Los siguientes hiperparámetros fueron usados durante el entrenamiento:

  • learning_rate: 2e-05
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 13
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: constant
  • num_epochs: 1

Training Loss

Epoch Training Loss
0.1 1.6042
0.2 1.4558
0.3 1.4046
0.4 1.3729
0.5 1.3504
0.6 1.3312
0.7 1.3171
0.8 1.3048
0.9 1.2958
1 1.3722

Evaluación y comparativa con otros modelos en español

Modelo Text classification task (en español de Chile) Token classification task (en español de Chile)
Beto (BERT Spanish) 0.8392 0.7544
Bertin Roberta Base 0.8325 -
Roberta Large BNE 0.8499 0.7697
Tulio BERT 0.8503 0.7815
Patana BERT 0.8435 0.7777

Frameworks de entrenamiento

  • Transformers 4.30.2
  • Pytorch 2.0.1+cu117
  • Datasets 2.13.1
  • Tokenizers 0.13.3

Agradecimientos

Agradecemos al Departamento de Ciencias de la Computación de la Universidad de Chile y a ReLeLa por los servidores proporcionados para el entrenamiento del modelo. También agradecemos por su apoyo al Instituto Milenio Fundamentos de los Datos.

Licencia

La licencia CC BY 4.0 es la que mejor describe las intenciones de nuestro trabajo. Sin embargo, no estamos seguros de que todos datos utilizados para entrenar este modelo tengan licencias compatibles con CC BY 4.0 (especialmente para uso comercial).

Limitaciones

El dataset de entrenamiento no recibió ningún tipo de censura. Por lo tanto, el modelo puede contener representaciones ideológicas no deseadas. Utilizar con precaución.

Autor

Modelo entrenado y datasets recopilados por Jorge Ortiz Fuentes

Citación

@misc{patana2023,
  author = {Ortiz-Fuentes, Jorge},
  title = {Patana Chilean Spanish Bert},
  year = 2023,
  url = {https://doi.org/10.57967/hf/1845},
}
Downloads last month
147
Safetensors
Model size
110M params
Tensor type
I64
·
F32
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train dccuchile/patana-chilean-spanish-bert