# Bio_ClinicalBERT-finetuned-medicalcondition

Este modelo é uma versão ajustada finamente do [emilyalsentzer/Bio_ClinicalBERT](https://huggingface.co/emilyalsentzer/Bio_ClinicalBERT) no conjunto de dados None. Ele alcança os seguintes resultados no conjunto de avaliação:

- Perda: 0.7201
- Pontuação F1: 0.8254

## Descrição do Modelo

Mais informações são necessárias.

## Usos Pretendidos e Limitações

Mais informações são necessárias.

## Dados de Treinamento e Avaliação

Mais informações são necessárias.

## Procedimento de Treinamento

### Hiperparâmetros de Treinamento

Os seguintes hiperparâmetros foram usados durante o treinamento:

- Taxa de Aprendizado: 2e-05
- Tamanho do Lote de Treinamento: 64
- Tamanho do Lote de Avaliação: 64
- Semente: 42
- Otimizador: Adam com betas=(0.9,0.999) e epsilon=1e-08
- Tipo de Agendador de Taxa de Aprendizado: linear
- Número de Épocas: 10
- Treinamento de Precisão Mista: AMP Nativo

### Resultados do Treinamento

| Perda de Treinamento | Época | Passo  | Perda de Validação | Pontuação F1 |
|:---------------------:|:-----:|:------:|:------------------:|:------------:|
| 0.8002                | 1.0   | 1772   | 0.6327             | 0.7759       |
| 0.5933                | 2.0   | 3544   | 0.5906             | 0.7934       |
| 0.5015                | 3.0   | 5316   | 0.5768             | 0.8033       |
| 0.4265                | 4.0   | 7088   | 0.5792             | 0.8099       |
| 0.3698                | 5.0   | 8860   | 0.6030             | 0.8109       |
| 0.3229                | 6.0   | 10632  | 0.6366             | 0.8167       |
| 0.2907                | 7.0   | 12404  | 0.6671             | 0.8198       |
| 0.2649                | 8.0   | 14176  | 0.6850             | 0.8237       |
| 0.2477                | 9.0   | 15948  | 0.7072             | 0.8247       |
| 0.2348                | 10.0  | 17720  | 0.7201             | 0.8254       |


### Versões do Framework

- Transformers 4.25.1
- Pytorch 1.13.1+cu116
- Datasets 2.8.0
- Tokenizers 0.13.2