ai-forever commited on
Commit
a6c7e2d
1 Parent(s): 5861f85

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +17 -17
README.md CHANGED
@@ -51,14 +51,14 @@ def pool(hidden_state, mask, pooling_method="cls"):
51
 
52
  inputs = [
53
  #
54
- "paraphrase: Он нам и <unk> не нужон ваш Интернет!",
55
- "categorize_entailment: В Ярославской области разрешили работу бань, но без посетителей",
56
  "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
57
  #
58
- "paraphrase: What a time to be alive!",
59
- "categorize_entailment: Ярославским баням разрешили работать без посетителей",
60
- "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.",
61
- ]
62
 
63
  tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRIDA")
64
  model = T5EncoderModel.from_pretrained("ai-forever/FRIDA")
@@ -87,14 +87,14 @@ from sentence_transformers import SentenceTransformer
87
 
88
  inputs = [
89
  #
90
- "paraphrase: Он нам и <unk> не нужон ваш Интернет!",
91
- "categorize_entailment: В Ярославской области разрешили работу бань, но без посетителей",
92
  "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
93
  #
94
- "paraphrase: What a time to be alive!",
95
- "categorize_entailment: Ярославским баням разрешили работать без посетителей",
96
- "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.",
97
- ]
98
 
99
  # loads model with CLS pooling
100
  model = SentenceTransformer("ai-forever/FRIDA")
@@ -115,11 +115,11 @@ from sentence_transformers import SentenceTransformer
115
  # loads model with CLS pooling
116
  model = SentenceTransformer("ai-forever/FRIDA")
117
 
118
- classification = model.encode(["Он нам и <unk> не нужон ваш Интернет!", "What a time to be alive!"], prompt_name="paraphrase")
119
- print(classification[0] @ classification[1].T) # 0.47968706488609314
120
 
121
- clustering = model.encode(["В Ярославской области разрешили работу бань, но без посетителей", "Ярославским баням разрешили работать без посетителей"], prompt_name="categorize_entailment")
122
- print(clustering[0] @ clustering[1].T) # 0.940900444984436
123
 
124
  query_embedding = model.encode("Сколько программистов нужно, чтобы вкрутить лампочку?", prompt_name="search_query")
125
  document_embedding = model.encode("Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.", prompt_name="search_document")
@@ -129,7 +129,7 @@ print(query_embedding @ document_embedding.T) # 0.7761018872261047
129
  + # Authors
130
  + [SaluteDevices](https://sberdevices.ru/) AI for B2C RnD Team.
131
  + Artem Snegirev: [HF profile](https://huggingface.co/artemsnegirev);
132
- + Ann Maksimova;
133
  + Aleksandr Abramov: [HF profile](https://huggingface.co/Andrilko), [Github](https://github.com/Ab1992ao), [Kaggle Competitions Master](https://www.kaggle.com/andrilko)
134
 
135
 
 
51
 
52
  inputs = [
53
  #
54
+ "paraphrase: В Ярославской области разрешили работу бань, но без посетителей",
55
+ "categorize_entailment: Женщину доставили в больницу, за ее жизнь сейчас борются врачи.",
56
  "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
57
  #
58
+ "paraphrase: Ярославским баням разрешили работать без посетителей",
59
+ "categorize_entailment: Женщину спасают врачи.",
60
+ "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
61
+ ]
62
 
63
  tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRIDA")
64
  model = T5EncoderModel.from_pretrained("ai-forever/FRIDA")
 
87
 
88
  inputs = [
89
  #
90
+ "paraphrase: В Ярославской области разрешили работу бань, но без посетителей",
91
+ "categorize_entailment: Женщину доставили в больницу, за ее жизнь сейчас борются врачи.",
92
  "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
93
  #
94
+ "paraphrase: Ярославским баням разрешили работать без посетителей",
95
+ "categorize_entailment: Женщину спасают врачи.",
96
+ "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
97
+ ]
98
 
99
  # loads model with CLS pooling
100
  model = SentenceTransformer("ai-forever/FRIDA")
 
115
  # loads model with CLS pooling
116
  model = SentenceTransformer("ai-forever/FRIDA")
117
 
118
+ paraphrase = model.encode(["В Ярославской области разрешили работу бань, но без посетителей", "Ярославским баням разрешили работать без посетителей"], prompt_name="paraphrase")
119
+ print(paraphrase[0] @ paraphrase[1].T) # 0.47968706488609314
120
 
121
+ categorize_entailment = model.encode(["Женщину доставили в больницу, за ее жизнь сейчас борются врачи.", "Женщину спасают врачи."], prompt_name="categorize_entailment")
122
+ print(categorize_entailment[0] @ categorize_entailment[1].T) # 0.940900444984436
123
 
124
  query_embedding = model.encode("Сколько программистов нужно, чтобы вкрутить лампочку?", prompt_name="search_query")
125
  document_embedding = model.encode("Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.", prompt_name="search_document")
 
129
  + # Authors
130
  + [SaluteDevices](https://sberdevices.ru/) AI for B2C RnD Team.
131
  + Artem Snegirev: [HF profile](https://huggingface.co/artemsnegirev);
132
+ + Anna Maksimova [HF profile](https://huggingface.co/anpalmak);
133
  + Aleksandr Abramov: [HF profile](https://huggingface.co/Andrilko), [Github](https://github.com/Ab1992ao), [Kaggle Competitions Master](https://www.kaggle.com/andrilko)
134
 
135