|
--- |
|
language: |
|
- pt |
|
metrics: |
|
- accuracy |
|
tags: |
|
- feedback |
|
- products |
|
--- |
|
|
|
|
|
# Introdução |
|
Modelo treinado a partir do Bertimbau da Neuralmind (https://huggingface.co/neuralmind/bert-base-portuguese-cased) |
|
em um dataset chamado B2W-Reviews01. Que é um corpus aberto de reviews de produtos. |
|
Ele contém mais de 130 mil avaliações de clientes de comércio eletrônico, coletadas no site da Americanas.com (https://github.com/americanas-tech/b2w-reviews01) |
|
O modelo rodou por apenas 50 minutos (3 épocas) numa instância do google com a GPU T4. |
|
|
|
O propósito desse projeto é totalmente para fins didáticos, onde a ideia é mostrar como fazer fine tunning de modelos para outras |
|
tarefas de NLP além da geração de textos. Encorajo quem encotrar esse repositório à rodar ele por muito mais tempo para conseguir melhores |
|
resultados. |
|
|
|
# Resultados |
|
|
|
* Epoch 1: |
|
- Training Loss: 0.863100 |
|
- Validation Loss: 0.873007 |
|
- Accuracy: 0.621733 |
|
- f1_score: 0.491815 |
|
|
|
* Epoch 2: |
|
- Training Loss: 0.802800 |
|
- Validation Loss: 0.897009 |
|
- Accuracy: 0.620914 |
|
- f1_score: 0.554796 |
|
|
|
* Epoch 3: |
|
- Training Loss: 0.692400 |
|
- Validation Loss: 0.966356 |
|
- Accuracy: 0.619210 |
|
- f1_score: 0.557672 |
|
|
|
# Github |
|
|
|
No repositório (https://github.com/ramoonmedeiro/LLMTasks/tree/main/text-classification) pode ser encontrado o notebook na qual o fine tunning |
|
foi realizado. |
