DHEIVER commited on
Commit
9891f4a
1 Parent(s): 190c501

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +35 -48
README.md CHANGED
@@ -1,67 +1,54 @@
1
- ---
2
- license: mit
3
- tags:
4
- - generated_from_trainer
5
- model-index:
6
- - name: Bio_ClinicalBERT-finetuned-medicalcondition
7
- results: []
8
- ---
9
 
10
- <!-- This model card has been generated automatically according to the information the Trainer had access to. You
11
- should probably proofread and complete it, then remove this comment. -->
12
 
13
- # Bio_ClinicalBERT-finetuned-medicalcondition
14
 
15
- This model is a fine-tuned version of [emilyalsentzer/Bio_ClinicalBERT](https://huggingface.co/emilyalsentzer/Bio_ClinicalBERT) on the None dataset.
16
- It achieves the following results on the evaluation set:
17
- - Loss: 0.7201
18
- - F1 Score: 0.8254
19
 
20
- ## Model description
21
 
22
- More information needed
23
 
24
- ## Intended uses & limitations
25
 
26
- More information needed
27
 
28
- ## Training and evaluation data
29
 
30
- More information needed
31
 
32
- ## Training procedure
33
 
34
- ### Training hyperparameters
 
 
 
 
 
 
 
35
 
36
- The following hyperparameters were used during training:
37
- - learning_rate: 2e-05
38
- - train_batch_size: 64
39
- - eval_batch_size: 64
40
- - seed: 42
41
- - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
42
- - lr_scheduler_type: linear
43
- - num_epochs: 10
44
- - mixed_precision_training: Native AMP
45
 
46
- ### Training results
 
 
 
 
 
 
 
 
 
 
 
47
 
48
- | Training Loss | Epoch | Step | Validation Loss | F1 Score |
49
- |:-------------:|:-----:|:-----:|:---------------:|:--------:|
50
- | 0.8002 | 1.0 | 1772 | 0.6327 | 0.7759 |
51
- | 0.5933 | 2.0 | 3544 | 0.5906 | 0.7934 |
52
- | 0.5015 | 3.0 | 5316 | 0.5768 | 0.8033 |
53
- | 0.4265 | 4.0 | 7088 | 0.5792 | 0.8099 |
54
- | 0.3698 | 5.0 | 8860 | 0.6030 | 0.8109 |
55
- | 0.3229 | 6.0 | 10632 | 0.6366 | 0.8167 |
56
- | 0.2907 | 7.0 | 12404 | 0.6671 | 0.8198 |
57
- | 0.2649 | 8.0 | 14176 | 0.6850 | 0.8237 |
58
- | 0.2477 | 9.0 | 15948 | 0.7072 | 0.8247 |
59
- | 0.2348 | 10.0 | 17720 | 0.7201 | 0.8254 |
60
 
61
-
62
- ### Framework versions
63
 
64
  - Transformers 4.25.1
65
  - Pytorch 1.13.1+cu116
66
  - Datasets 2.8.0
67
- - Tokenizers 0.13.2
 
1
+ # ClinicalBERT-finetuned
 
 
 
 
 
 
 
2
 
3
+ - Perda: 0.7201
4
+ - Pontuação F1: 0.8254
5
 
6
+ ## Descrição do Modelo
7
 
8
+ Mais informações são necessárias.
 
 
 
9
 
10
+ ## Usos Pretendidos e Limitações
11
 
12
+ Mais informações são necessárias.
13
 
14
+ ## Dados de Treinamento e Avaliação
15
 
16
+ Mais informações são necessárias.
17
 
18
+ ## Procedimento de Treinamento
19
 
20
+ ### Hiperparâmetros de Treinamento
21
 
22
+ Os seguintes hiperparâmetros foram usados durante o treinamento:
23
 
24
+ - Taxa de Aprendizado: 2e-05
25
+ - Tamanho do Lote de Treinamento: 64
26
+ - Tamanho do Lote de Avaliação: 64
27
+ - Semente: 42
28
+ - Otimizador: Adam com betas=(0.9,0.999) e epsilon=1e-08
29
+ - Tipo de Agendador de Taxa de Aprendizado: linear
30
+ - Número de Épocas: 10
31
+ - Treinamento de Precisão Mista: AMP Nativo
32
 
33
+ ### Resultados do Treinamento
 
 
 
 
 
 
 
 
34
 
35
+ | Perda de Treinamento | Época | Passo | Perda de Validação | Pontuação F1 |
36
+ |:---------------------:|:-----:|:------:|:------------------:|:------------:|
37
+ | 0.8002 | 1.0 | 1772 | 0.6327 | 0.7759 |
38
+ | 0.5933 | 2.0 | 3544 | 0.5906 | 0.7934 |
39
+ | 0.5015 | 3.0 | 5316 | 0.5768 | 0.8033 |
40
+ | 0.4265 | 4.0 | 7088 | 0.5792 | 0.8099 |
41
+ | 0.3698 | 5.0 | 8860 | 0.6030 | 0.8109 |
42
+ | 0.3229 | 6.0 | 10632 | 0.6366 | 0.8167 |
43
+ | 0.2907 | 7.0 | 12404 | 0.6671 | 0.8198 |
44
+ | 0.2649 | 8.0 | 14176 | 0.6850 | 0.8237 |
45
+ | 0.2477 | 9.0 | 15948 | 0.7072 | 0.8247 |
46
+ | 0.2348 | 10.0 | 17720 | 0.7201 | 0.8254 |
47
 
 
 
 
 
 
 
 
 
 
 
 
 
48
 
49
+ ### Versões do Framework
 
50
 
51
  - Transformers 4.25.1
52
  - Pytorch 1.13.1+cu116
53
  - Datasets 2.8.0
54
+ - Tokenizers 0.13.2