ai-forever
commited on
Commit
•
a6c7e2d
1
Parent(s):
5861f85
Update README.md
Browse files
README.md
CHANGED
@@ -51,14 +51,14 @@ def pool(hidden_state, mask, pooling_method="cls"):
|
|
51 |
|
52 |
inputs = [
|
53 |
#
|
54 |
-
"paraphrase:
|
55 |
-
"categorize_entailment:
|
56 |
"search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
|
57 |
#
|
58 |
-
"paraphrase:
|
59 |
-
"categorize_entailment:
|
60 |
-
"search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
|
61 |
-
]
|
62 |
|
63 |
tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRIDA")
|
64 |
model = T5EncoderModel.from_pretrained("ai-forever/FRIDA")
|
@@ -87,14 +87,14 @@ from sentence_transformers import SentenceTransformer
|
|
87 |
|
88 |
inputs = [
|
89 |
#
|
90 |
-
"paraphrase:
|
91 |
-
"categorize_entailment:
|
92 |
"search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
|
93 |
#
|
94 |
-
"paraphrase:
|
95 |
-
"categorize_entailment:
|
96 |
-
"search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
|
97 |
-
]
|
98 |
|
99 |
# loads model with CLS pooling
|
100 |
model = SentenceTransformer("ai-forever/FRIDA")
|
@@ -115,11 +115,11 @@ from sentence_transformers import SentenceTransformer
|
|
115 |
# loads model with CLS pooling
|
116 |
model = SentenceTransformer("ai-forever/FRIDA")
|
117 |
|
118 |
-
|
119 |
-
print(
|
120 |
|
121 |
-
|
122 |
-
print(
|
123 |
|
124 |
query_embedding = model.encode("Сколько программистов нужно, чтобы вкрутить лампочку?", prompt_name="search_query")
|
125 |
document_embedding = model.encode("Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.", prompt_name="search_document")
|
@@ -129,7 +129,7 @@ print(query_embedding @ document_embedding.T) # 0.7761018872261047
|
|
129 |
+ # Authors
|
130 |
+ [SaluteDevices](https://sberdevices.ru/) AI for B2C RnD Team.
|
131 |
+ Artem Snegirev: [HF profile](https://huggingface.co/artemsnegirev);
|
132 |
-
+
|
133 |
+ Aleksandr Abramov: [HF profile](https://huggingface.co/Andrilko), [Github](https://github.com/Ab1992ao), [Kaggle Competitions Master](https://www.kaggle.com/andrilko)
|
134 |
|
135 |
|
|
|
51 |
|
52 |
inputs = [
|
53 |
#
|
54 |
+
"paraphrase: В Ярославской области разрешили работу бань, но без посетителей",
|
55 |
+
"categorize_entailment: Женщину доставили в больницу, за ее жизнь сейчас борются врачи.",
|
56 |
"search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
|
57 |
#
|
58 |
+
"paraphrase: Ярославским баням разрешили работать без посетителей",
|
59 |
+
"categorize_entailment: Женщину спасают врачи.",
|
60 |
+
"search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
|
61 |
+
]
|
62 |
|
63 |
tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRIDA")
|
64 |
model = T5EncoderModel.from_pretrained("ai-forever/FRIDA")
|
|
|
87 |
|
88 |
inputs = [
|
89 |
#
|
90 |
+
"paraphrase: В Ярославской области разрешили работу бань, но без посетителей",
|
91 |
+
"categorize_entailment: Женщину доставили в больницу, за ее жизнь сейчас борются врачи.",
|
92 |
"search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
|
93 |
#
|
94 |
+
"paraphrase: Ярославским баням разрешили работать без посетителей",
|
95 |
+
"categorize_entailment: Женщину спасают врачи.",
|
96 |
+
"search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
|
97 |
+
]
|
98 |
|
99 |
# loads model with CLS pooling
|
100 |
model = SentenceTransformer("ai-forever/FRIDA")
|
|
|
115 |
# loads model with CLS pooling
|
116 |
model = SentenceTransformer("ai-forever/FRIDA")
|
117 |
|
118 |
+
paraphrase = model.encode(["В Ярославской области разрешили работу бань, но без посетителей", "Ярославским баням разрешили работать без посетителей"], prompt_name="paraphrase")
|
119 |
+
print(paraphrase[0] @ paraphrase[1].T) # 0.47968706488609314
|
120 |
|
121 |
+
categorize_entailment = model.encode(["Женщину доставили в больницу, за ее жизнь сейчас борются врачи.", "Женщину спасают врачи."], prompt_name="categorize_entailment")
|
122 |
+
print(categorize_entailment[0] @ categorize_entailment[1].T) # 0.940900444984436
|
123 |
|
124 |
query_embedding = model.encode("Сколько программистов нужно, чтобы вкрутить лампочку?", prompt_name="search_query")
|
125 |
document_embedding = model.encode("Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.", prompt_name="search_document")
|
|
|
129 |
+ # Authors
|
130 |
+ [SaluteDevices](https://sberdevices.ru/) AI for B2C RnD Team.
|
131 |
+ Artem Snegirev: [HF profile](https://huggingface.co/artemsnegirev);
|
132 |
+
+ Anna Maksimova [HF profile](https://huggingface.co/anpalmak);
|
133 |
+ Aleksandr Abramov: [HF profile](https://huggingface.co/Andrilko), [Github](https://github.com/Ab1992ao), [Kaggle Competitions Master](https://www.kaggle.com/andrilko)
|
134 |
|
135 |
|