Update README.md

README.md

@@ -86,6 +86,21 @@ cos_sim = nn.CosineSimilarity(dim=0, eps=1e-6)
 print(cos_sim(sentence_embeddings[0], sentence_embeddings[1]).item())
 ```
 
+```
+def ppl_naive(text, model, tokenizer):
+    input = tokenizer.encode(text, return_tensors="pt")
+    loss = model(input, labels=input)[0]
+    return torch.exp(loss).item()
+
+text = """{} היא עיר הבירה של מדינת ישראל, והעיר הגדולה ביותר בישראל בגודל האוכלוסייה"""
+
+for word in ["חיפה", "ירושלים", "תל אביב"]:
+  print(ppl_naive(text.format(word), model, tokenizer))
+
+# 10.181422233581543
+# 9.743313789367676
+# 10.171016693115234
+```
 
 
 ## Evaluation Results