Update readme

README.md

@@ -1,9 +1,96 @@
-## How to use
+---
+language: "ca"
+tags:
+- masked-lm
+---
 
-```
+# BERTa: Catalan RoBERTa model
+
+## Model description
+
+BERTa is a RoBERTa-base model trained for Catalan language. BERTa is trained with a **reference corpus**
+You can embed local or remote images using `![](...)`
+
+## Intended uses & limitations
+
+
+## Limitations and bias 
+
+## Load the model
+
+``` python
 from transformers import AutoTokenizer, AutoModelForMaskedLM
   
 tokenizer = AutoTokenizer.from_pretrained("bsc/roberta-base-ca-cased")
 
 model = AutoModelForMaskedLM.from_pretrained("bsc/roberta-base-ca-cased")
 ```
+
+## Fill Mask task
+
+Below, an example of how to use the masked language modeling task with a pipeline.
+
+```python
+>>> from transformers import pipeline
+>>> unmasker = pipeline('fill-mask', model='bsc/roberta-base')
+>>> unmasker("Situada a la costa de la mar Mediterrània, <mask> s'assenta en una plana formada entre els deltes de les desembocadures dels rius Llobregat, al sud-oest, "
+             "i Besòs, al nord-est, i limitada pel sud-est per la línia de costa, i pel nord-oest per la serralada de Collserola "
+             "(amb el cim del Tibidabo, 516,2 m, com a punt més alt) que segueix paral·lela la línia de costa encaixant la ciutat en un perímetre molt definit.")
+
+[
+  {
+    "sequence": " Situada a la costa de la mar Mediterrània, Barcelona s'assenta en una plana formada entre els deltes de les desembocadures dels rius Llobregat, al sud-oest, 
+                "i Besòs, al nord-est, i limitada pel sud-est per la línia de costa, i pel nord-oest per la serralada de Collserola "
+                "(amb el cim del Tibidabo, 516,2 m, com a punt més alt) que segueix paral·lela la línia de costa encaixant la ciutat en un perímetre molt definit.",
+    "score": 0.4177263379096985,
+    "token": 734,
+    "token_str": " Barcelona"
+  },
+  {
+    "sequence": " Situada a la costa de la mar Mediterrània, Barcelona s'assenta en una plana formada entre els deltes de les desembocadures dels rius Llobregat, al sud-oest, 
+                "i Besòs, al nord-est, i limitada pel sud-est per la línia de costa, i pel nord-oest per la serralada de Collserola "
+                "(amb el cim del Tibidabo, 516,2 m, com a punt més alt) que segueix paral·lela la línia de costa encaixant la ciutat en un perímetre molt definit.",
+    "score": 0.10696165263652802,
+    "token": 3849,
+    "token_str": " Badalona"
+  },
+  {
+    "sequence": " Situada a la costa de la mar Mediterrània, Barcelona s'assenta en una plana formada entre els deltes de les desembocadures dels rius Llobregat, al sud-oest, 
+                "i Besòs, al nord-est, i limitada pel sud-est per la línia de costa, i pel nord-oest per la serralada de Collserola "
+                "(amb el cim del Tibidabo, 516,2 m, com a punt més alt) que segueix paral·lela la línia de costa encaixant la ciutat en un perímetre molt definit.",
+    "score": 0.08135009557008743,
+    "token": 19349,
+    "token_str": " Collserola"
+  },
+  {
+   "sequence": " Situada a la costa de la mar Mediterrània, Barcelona s'assenta en una plana formada entre els deltes de les desembocadures dels rius Llobregat, al sud-oest, 
+                "i Besòs, al nord-est, i limitada pel sud-est per la línia de costa, i pel nord-oest per la serralada de Collserola "
+                "(amb el cim del Tibidabo, 516,2 m, com a punt més alt) que segueix paral·lela la línia de costa encaixant la ciutat en un perímetre molt definit.",
+    "score": 0.07330769300460815,
+    "token": 4974,
+    "token_str": " Terrassa"
+  },
+  {
+    "sequence": " Situada a la costa de la mar Mediterrània, Barcelona s'assenta en una plana formada entre els deltes de les desembocadures dels rius Llobregat, al sud-oest, 
+                "i Besòs, al nord-est, i limitada pel sud-est per la línia de costa, i pel nord-oest per la serralada de Collserola "
+                "(amb el cim del Tibidabo, 516,2 m, com a punt més alt) que segueix paral·lela la línia de costa encaixant la ciutat en un perímetre molt definit.",
+    "score": 0.03317456692457199,
+    "token": 14333,
+    "token_str": " Gavà"
+  }
+]
+```
+
+## Training data
+
+## Pretraining 
+
+## Eval results
+
+### BibTeX entry and citation info
+
+```bibtex
+@inproceedings{...,
+  year={2020}
+}
+```