pierreguillou commited on
Commit
c0dfb6d
1 Parent(s): 846a367

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +46 -1
README.md CHANGED
@@ -31,13 +31,58 @@ The language model used is the [BERTimbau Base](https://huggingface.co/neuralmin
31
 
32
  All the informations are in the blog post : [NLP | Modelo de Question Answering em qualquer idioma baseado no BERT base (estudo de caso em português)](https://medium.com/@pierre_guillou/nlp-modelo-de-question-answering-em-qualquer-idioma-baseado-no-bert-base-estudo-de-caso-em-12093d385e78)
33
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
34
  ## Limitations and bias
35
 
36
  The training data used for this model come from Portuguese SQUAD. It could contain a lot of unfiltered content, which is far from neutral, and biases.
37
 
38
  ## Author
39
 
40
- Portuguese BERT base cased QA (Question Answering), finetuned on SQUAD v1.1 was trained and evaluated by [Pierre GUILLOU](https://www.linkedin.com/in/pierreguillou/) thanks to the Open Source code, platforms and advices of many organizations ([link to the list](https://medium.com/@pierre_guillou/nlp-modelo-de-question-answering-em-qualquer-idioma-baseado-no-bert-base-estudo-de-caso-em-12093d385e78#c572)). In particular: [Neuralmind.ai](https://neuralmind.ai/), [Deep Learning Brasil group](http://www.deeplearningbrasil.com.br/), [Google Colab](https://colab.research.google.com/) and [AI Lab](https://ailab.unb.br/).
41
 
42
  ## Citation
43
  If you use our work, please cite:
 
31
 
32
  All the informations are in the blog post : [NLP | Modelo de Question Answering em qualquer idioma baseado no BERT base (estudo de caso em português)](https://medium.com/@pierre_guillou/nlp-modelo-de-question-answering-em-qualquer-idioma-baseado-no-bert-base-estudo-de-caso-em-12093d385e78)
33
 
34
+ ## Notebooks in Google Colab & GitHub
35
+
36
+ - Google Colab: [colab_question_answering_BERT_base_cased_squad_v11_pt.ipynb](https://colab.research.google.com/drive/18ueLdi_V321Gz37x4gHq8mb4XZSGWfZx?usp=sharing)
37
+ - GitHub: [colab_question_answering_BERT_base_cased_squad_v11_pt.ipynb](https://github.com/piegu/language-models/blob/master/colab_question_answering_BERT_base_cased_squad_v11_pt.ipynb)
38
+
39
+ ## Performance
40
+
41
+ The results obtained are the following:
42
+
43
+ ```
44
+ f1 = 82.50
45
+ exact match = 70.49
46
+ ```
47
+
48
+ ## How to use the model
49
+
50
+ ```python
51
+ import transformers
52
+ from transformers import pipeline
53
+
54
+ # source: https://pt.wikipedia.org/wiki/Pandemia_de_COVID-19
55
+ context = r"""
56
+ A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19,
57
+ uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2).
58
+ A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China,
59
+ em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano.
60
+ Acredita-se que o vírus tenha uma origem zoonótica, porque os primeiros casos confirmados
61
+ tinham principalmente ligações ao Mercado Atacadista de Frutos do Mar de Huanan, que também vendia animais vivos.
62
+ Em 11 de março de 2020, a Organização Mundial da Saúde declarou o surto uma pandemia. Até 8 de fevereiro de 2021,
63
+ pelo menos 105 743 102 casos da doença foram confirmados em pelo menos 191 países e territórios,
64
+ com cerca de 2 308 943 mortes e 58 851 440 pessoas curadas.
65
+ """
66
+
67
+ model_name = 'pierreguillou/bert-base-cased-squad-v1.1-portuguese'
68
+ nlp = pipeline("question-answering", model=model_name)
69
+
70
+ question = "Quando começou a pandemia de Covid-19 no mundo?"
71
+
72
+ result = nlp(question=question, context=context)
73
+
74
+ print(f"Answer: '{result['answer']}', score: {round(result['score'], 4)}, start: {result['start']}, end: {result['end']}")
75
+
76
+ # Answer: '1 de dezembro de 2019', score: 0.713, start: 328, end: 349
77
+ ```
78
+
79
  ## Limitations and bias
80
 
81
  The training data used for this model come from Portuguese SQUAD. It could contain a lot of unfiltered content, which is far from neutral, and biases.
82
 
83
  ## Author
84
 
85
+ Portuguese BERT base cased QA (Question Answering), finetuned on SQUAD v1.1 was trained and evaluated by [Pierre GUILLOU](https://www.linkedin.com/in/pierreguillou/) thanks to the Open Source code, platforms and advices of many organizations ([link to the list](https://medium.com/@pierre_guillou/nlp-modelo-de-question-answering-em-qualquer-idioma-baseado-no-bert-base-estudo-de-caso-em-12093d385e78#c572)). In particular: [Hugging Face](https://huggingface.co/), [Neuralmind.ai](https://neuralmind.ai/), [Deep Learning Brasil group](http://www.deeplearningbrasil.com.br/), [Google Colab](https://colab.research.google.com/) and [AI Lab](https://ailab.unb.br/).
86
 
87
  ## Citation
88
  If you use our work, please cite: