language:
- pt
metrics:
- accuracy
tags:
- feedback
- products
Introdução
Modelo treinado a partir do Bertimbau da Neuralmind (https://huggingface.co/neuralmind/bert-base-portuguese-cased) em um dataset chamado B2W-Reviews01. Que é um corpus aberto de reviews de produtos. Ele contém mais de 130 mil avaliações de clientes de comércio eletrônico, coletadas no site da Americanas.com (https://github.com/americanas-tech/b2w-reviews01) O modelo rodou por apenas 50 minutos (3 épocas) numa instância do google com a GPU T4.
O propósito desse projeto é totalmente para fins didáticos, onde a ideia é mostrar como fazer fine tunning de modelos para outras tarefas de NLP além da geração de textos. Encorajo quem encotrar esse repositório à rodar ele por muito mais tempo para conseguir melhores resultados.
Resultados
Epoch 1:
- Training Loss: 0.863100
- Validation Loss: 0.873007
- Accuracy: 0.621733
- f1_score: 0.491815
Epoch 2:
- Training Loss: 0.802800
- Validation Loss: 0.897009
- Accuracy: 0.620914
- f1_score: 0.554796
Epoch 3:
- Training Loss: 0.692400
- Validation Loss: 0.966356
- Accuracy: 0.619210
- f1_score: 0.557672
Github
No repositório (https://github.com/ramoonmedeiro/LLMTasks/tree/main/text-classification) pode ser encontrado o notebook na qual o fine tunning foi realizado.