|
--- |
|
language: |
|
- it |
|
pipeline_tag: fill-mask |
|
library_name: transformers |
|
widget: |
|
- example_title: "Esempio 1" |
|
text: "Più tardi, durante la sua carriera, la gravidanza la costrinse a cancellare le sue apparizioni programmate nell'autunno del 1935. Il 29 marzo 1936 entrò in una clinica di Londra in [MASK] della nascita del suo bimbo" |
|
- example_title: "Esempio 2" |
|
text: "Nella stagione 2017-2018 il Karlsruhe, allenato da Alois Schwartz, [MASK] il campionato di 3. Liga al 3º posto." |
|
- example_title: "Esempio 3" |
|
text: "Conchita Supervía, nome alla nascita María de la Concepción Supervía Pascual (Barcellona, 8 dicembre 1895[1] – Londra, 30 marzo 1936), è [MASK] un mezzosoprano spagnolo molto famosa nel panorama operistico europeo e statunitense, attiva anche in campo concertistico" |
|
|
|
|
|
--- |
|
|
|
**bert-tiny-ita** is an italian foundational model (based on [bert-tiny](https://huggingface.co/google/bert_uncased_L-2_H-128_A-2)) pretrained from scratch on 20k italian Wikipedia articles and on a wide collection of italian words and dictionary definitions. It uses 512 context window size. |
|
|
|
The project is still a work in progress, new versions will come with time. |
|
|
|
Use it as a foundational model to be finetuned for specific italian tasks. |
|
|
|
# Training |
|
|
|
- epochs: 250 |
|
- lr: 1e-5 |
|
- optim: AdamW |
|
- weight_decay: 1e-4 |
|
|
|
# Eval |
|
|
|
- perplexity: 45 (it's a 12MB model!) |
