Update README.md

README.md

@@ -1,54 +1,96 @@
 ---
-license: mit
-tags:
-- generated_from_trainer
+language:
+- it
+license: apache-2.0
 datasets:
-- it5/datasets
+- squad_it
+tags:
+- Italian
+- efficient
+- sequence-to-sequence
+- question-generation
+- squad_it
+- text2text-generation
+widget:
+- text: "Le conoscenze mediche erano stagnanti durante il Medioevo. Il resoconto più autorevole di allora è venuto dalla facoltà di medicina di Parigi in un rapporto al re di Francia che ha incolpato i cieli, sotto forma di una congiunzione di tre pianeti nel 1345 che causò una \"grande pestilenza nell' aria\". Questa relazione è diventata la prima e più diffusa di una serie di casi di peste che cercava di dare consigli ai malati. Che la peste fosse causata dalla cattiva aria divenne la teoria più accettata. Oggi, questo è conosciuto come la teoria di Miasma. La parola \"peste\" non aveva un significato particolare in questo momento, e solo la ricorrenza dei focolai durante il Medioevo gli diede il nome che è diventato il termine medico. Risposta: re di Francia"
+- text: "Il 14 aprile 2011, ABC ha annullato le lunghe opere di sapone All My Children e One Life to Live dopo 41 e 43 anni in onda, rispettivamente (in seguito al contraccolpo dei tifosi, ABC ha venduto i diritti ad entrambi gli spettacoli a Prospect Park, che alla fine ha rilanciato i saponi su Hulu per un' ulteriore stagione nel 2013 e con entrambe le società che si citano in giudizio per accuse di interferenza con il processo di rilancio degli spettacoli, mancato pagamento delle tasse di licenza. Il talk/lifestyle show che ha sostituito One Life to Live, The Revolution, non è riuscito a generare giudizi soddisfacenti ed è stato a sua volta annullato dopo soli sette mesi. La stagione 2011-12 ha visto l' ABC cadere al quarto posto nel 18-49 demografico nonostante rinnovando una manciata di nuovi spettacoli (compresi i drammi matricole Scandal, Revenge e Once Upon a Time) per la seconda stagione. Risposta: Hulu"
+- text: "L' American Broadcasting Company (ABC) (stlized nel suo logo come abc dal 1957) è una rete televisiva commerciale americana trasmissione televisiva che è di proprietà del Disney-ABC Television Group, una controllata della divisione Disney Media Networks di The Walt Disney Company. La rete fa parte delle grandi reti televisive Big Three. La rete ha sede a Columbus Avenue e West 66th Street a Manhattan, con ulteriori uffici e stabilimenti di produzione a New York City, Los Angeles e Burbank, California. Risposta: Manhattan"
+- text: "La disobbedienza civile non rivoluzionaria è una semplice disobbedienza delle leggi sulla base del fatto che sono giudicate \"sbagliate\" da una coscienza individuale, o come parte di uno sforzo per rendere alcune leggi inefficaci, per causarne l' abrogazione, o per esercitare pressioni per ottenere i propri desideri politici su qualche altra questione. La disobbedienza civile rivoluzionaria è più che altro un tentativo attivo di rovesciare un governo (o di cambiare le tradizioni culturali, i costumi sociali, le credenze religiose, ecc. La rivoluzione non deve necessariamente essere politica, cioè \"rivoluzione culturale\", implica semplicemente un cambiamento radicale e diffuso in una sezione del tessuto sociale). Gli atti di Gandhi sono stati descritti come disobbedienza civile rivoluzionaria. È stato affermato che gli ungheresi sotto Ferenc Deák hanno diretto una disobbedienza civile rivoluzionaria contro il governo austriaco. Thoreau ha anche scritto di disobbedienza civile realizzando \"rivoluzione pacifica\". Howard Zinn, Harvey Wheeler e altri hanno identificato il diritto sposato nella Dichiarazione d' Indipendenza di \"alterare o abolire\" un governo ingiusto come principio di disobbedienza civile. Risposta: Ferenc Deák"
 metrics:
 - rouge
+- bertscore
 model-index:
-- name: it5-efficient-small-el32-qg-0.0003
+- name: it5-efficient-small-el32-question-generation
   results:
-  - task:
-      name: Summarization
-      type: summarization
+  - task: 
+      type: question-generation
+      name: "Question generation"
     dataset:
-      name: it5/datasets qg
-      type: it5/datasets
-      args: qg
+      type: squad_it
+      name: "SQuAD-IT"
     metrics:
-    - name: Rouge1
-      type: rouge
-      value: 40.5452
+      - type: rouge1
+        value: 0.382
+        name: "Test Rouge1"
+      - type: rouge2
+        value: 0.201
+        name: "Test Rouge2"
+      - type: rougeL
+        value: 0.357
+        name: "Test RougeL"
+      - type: bertscore
+        value: 0.517
+        name: "Test BERTScore"
+        args:
+          - model_type: "dbmdz/bert-base-italian-xxl-uncased"
+          - lang: "it"
+          - num_layers: 10
+          - rescale_with_baseline: True
+          - baseline_path: "bertscore_baseline_ita.tsv"
 ---
+# IT5 Cased Small Efficient EL32 for Question Generation 💭 🇮🇹
+
+*Shout-out to [Stefan Schweter](https://github.com/stefan-it) for contributing the pre-trained efficient model!*
+
+This repository contains the checkpoint for the [IT5 Cased Small Efficient EL32](https://huggingface.co/it5/it5-efficient-small-el32) model fine-tuned on question generation on the [SQuAD-IT corpus](https://huggingface.co/datasets/squad_it) as part of the experiments of the paper [IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation](https://arxiv.org/abs/2203.03759) by [Gabriele Sarti](https://gsarti.com) and [Malvina Nissim](https://malvinanissim.github.io). 
 
-<!-- This model card has been generated automatically according to the information the Trainer had access to. You
-should probably proofread and complete it, then remove this comment. -->
+Efficient IT5 models differ from the standard ones by adopting a different vocabulary that enables cased text generation and an [optimized model architecture](https://arxiv.org/abs/2109.10686) to improve performances while reducing parameter count. The Small-EL32 replaces the original encoder from the T5 Small architecture with a 32-layer deep encoder, showing improved performances over the base model.
 
-# it5-efficient-small-el32-qg-0.0003
+A comprehensive overview of other released materials is provided in the [gsarti/it5](https://github.com/gsarti/it5) repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach.
 
-This model is a fine-tuned version of [stefan-it/it5-efficient-small-el32](https://huggingface.co/stefan-it/it5-efficient-small-el32) on the it5/datasets qg dataset.
-It achieves the following results on the evaluation set:
-- Loss: 1.8460
-- Rouge1: 40.5452
-- Rouge2: 21.7821
-- Rougel: 37.9644
-- Rougelsum: 37.9407
-- Gen Len: 14.059
+## Using the model
 
-## Model description
+Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:
 
-More information needed
+```python
+from transformers import pipelines
 
-## Intended uses & limitations
+qg = pipeline("text2text-generation", model='it5/it5-efficient-small-el32-question-generation')
+qg("Le conoscenze mediche erano stagnanti durante il Medioevo. Il resoconto più autorevole di allora è venuto dalla facoltà di medicina di Parigi in un rapporto al re di Francia che ha incolpato i cieli, sotto forma di una congiunzione di tre pianeti nel 1345 che causò una "grande pestilenza nell\' aria". Questa relazione è diventata la prima e più diffusa di una serie di casi di peste che cercava di dare consigli ai malati. Che la peste fosse causata dalla cattiva aria divenne la teoria più accettata. Oggi, questo è conosciuto come la teoria di Miasma. La parola "peste" non aveva un significato particolare in questo momento, e solo la ricorrenza dei focolai durante il Medioevo gli diede il nome che è diventato il termine medico. Risposta: re di Francia")
+>>> [{"generated_text": "Per chi è stato redatto il referto medico?"}]
+```
 
-More information needed
+or loaded using autoclasses:
 
-## Training and evaluation data
+```python
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
 
-More information needed
+tokenizer = AutoTokenizer.from_pretrained("it5/it5-efficient-small-el32-question-generation")
+model = AutoModelForSeq2SeqLM.from_pretrained("it5/it5-efficient-small-el32-question-generation")
+```
 
-## Training procedure
+If you use this model in your research, please cite our work as:
+
+```bibtex
+@article{sarti-nissim-2022-it5,
+    title={{IT5}: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation},
+    author={Sarti, Gabriele and Nissim, Malvina},
+    journal={ArXiv preprint 2203.03759},
+    url={https://arxiv.org/abs/2203.03759},
+    year={2022},
+	month={mar}
+}
+```
 
 ### Training hyperparameters
 
@@ -61,20 +103,6 @@ The following hyperparameters were used during training:
 - lr_scheduler_type: linear
 - num_epochs: 7.0
 
-### Training results
-
-| Training Loss | Epoch | Step  | Validation Loss | Rouge1  | Rouge2  | Rougel  | Rougelsum | Gen Len |
-|:-------------:|:-----:|:-----:|:---------------:|:-------:|:-------:|:-------:|:---------:|:-------:|
-| 2.3227        | 0.78  | 5000  | 2.0119          | 35.4228 | 16.8454 | 33.0039 | 33.0042   | 13.4213 |
-| 2.0517        | 1.56  | 10000 | 1.9002          | 36.7771 | 18.1217 | 34.4954 | 34.4605   | 12.7787 |
-| 1.8388        | 2.35  | 15000 | 1.8676          | 38.3396 | 19.4592 | 35.8451 | 35.8358   | 13.2803 |
-| 1.6942        | 3.13  | 20000 | 1.8758          | 39.0889 | 20.3841 | 36.655  | 36.6291   | 13.0213 |
-| 1.7123        | 3.91  | 25000 | 1.8253          | 39.6282 | 20.9321 | 37.1541 | 37.1195   | 13.1837 |
-| 1.5719        | 4.69  | 30000 | 1.8311          | 39.7541 | 21.1663 | 37.3503 | 37.3096   | 13.3723 |
-| 1.4763        | 5.47  | 35000 | 1.8474          | 39.8798 | 21.3044 | 37.4297 | 37.4135   | 13.2783 |
-| 1.3963        | 6.25  | 40000 | 1.8533          | 40.1839 | 21.4959 | 37.5371 | 37.5414   | 13.4713 |
-
-
 ### Framework versions
 
 - Transformers 4.15.0