Update README.md

README.md

@@ -6,6 +6,8 @@ license: apache-2.0
 
 # FRED-T5 1.7B (Full-scale Russian Enhanced Denoisers T5) 
 
+Model was trained by [SberDevices](https://sberdevices.ru/).  
+
 Architecture based on T5. 
 
 It has 24 layers and 1536 hidden size. More details in config.json.
@@ -23,7 +25,47 @@ RSG submit here https://russiansuperglue.com/login/submit_info/1936
 
 Total training time was around 45 days on 112 A100 GPUs.
 
-Training loss
-![Screenshot 2023-01-21 at 11.36.52.png](https://s3.amazonaws.com/moonup/production/uploads/1674290304538-5f91b1208a61a359f44e1851.png)
 
+## Usage (HuggingFace Models Repository)
+Example how to use model:
+
+```python
+import torch
+from transformers import GPT2Tokenizer, T5ForConditionalGeneration 
+tokenizer = GPT2Tokenizer.from_pretrained('ai-forever/FRED-T5-1.7B',eos_token='</s>')
+model = T5ForConditionalGeneration.from_pretrained(('ai-forever/FRED-T5-1.7B')
+device='cuda'
+model.to(device)
+
+#Prefix <LM>
+lm_text='Принялся Кутузов рассказывать свою историю как он сюда попал. Началось'
+input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
+outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
+print(tokenizer.decode(outputs[0][1:]))
+
+# print result: с того, что он был в армии, служил в артиллерии.
+
+#Prefix <SC1>
+lm_text='<SC1>Принялся Кутузов рассказывать свою историю . Началось с того, что он был в армии, служил в артиллерии.'
+input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
+outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
+print(tokenizer.decode(outputs[0][1:]))
+
+#print result: '<extra_id_0>  с самого начала'
+
+# Prefix <SC6>
+lm_text='<SC6>Принялся Кутузов рассказывать свою историю . Началось с того, что он был в армии, служил в артиллерии.'
+input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
+outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True,max_length=100)
+print(tokenizer.decode(outputs[0][1:]))
+
+#print result:'<extra_id_0>.\n— Я родился в 1745 году, — начал он. — Отец мой был крестьянин, а мать — дочь священника. Отец мой был очень беден, и я с детства был предоставлен самому себе.\n— А как вы стали офицером? — спросил я.\n— Это длинная история'
 
+```
+# Authors
++ NLP core team RnD [Telegram channel](https://t.me/nlpcoreteam):
+  + Dmitry Zmitrovich 
+  + Andrei Kalmykov 
+  + Vitaly Kadulin 
+  + Mikhail Novikov 
+