mbart-neutralization-2

This model is a fine-tuned version of facebook/mbart-large-50 on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 1.6087
• Bleu: 19.7978
• Gen Len: 12.3415

Model description

El modelo "glombardo/misogynistic-statements-and-their-potential-restructuring" es un modelo de traducción desarrollado para reestructurar frases misóginas en frases no misóginas. Utiliza la arquitectura seq2seq y está entrenado para traducir texto que contiene expresiones misóginas a texto que presenta una formulación no misógina.

Intended uses & limitations

Este modelo es útil para casos de uso donde se desea abordar y mitigar la misoginia en el lenguaje escrito. Es adecuado para aplicaciones que buscan promover la equidad de género y combatir el discurso de odio. Sin embargo, es importante tener en cuenta que el modelo puede no ser capaz de identificar y reestructurar todas las formas de expresión misógina, y su eficacia puede variar según el contexto y la complejidad del texto.

Training and evaluation data

El modelo fue entrenado utilizando el conjunto de datos "glombardo/misogynistic-statements-and-their-potential-restructuring", que contiene ejemplos de frases misóginas y sus reescrituras en frases no misóginas. Este conjunto de datos fue tokenizado utilizando el modelo "mbart-large-50". Durante el entrenamiento, se utilizó la métrica sacrebleu para evaluar el rendimiento del modelo, una métrica comúnmente utilizada en la evaluación de sistemas de traducción automática.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5.6e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
No log	1.0	16	4.0861	0.5502	131.1463
No log	2.0	32	1.6087	19.7978	12.3415

Framework versions

• Transformers 4.37.2
• Pytorch 2.1.0+cu121
• Datasets 2.17.0
• Tokenizers 0.15.2