File size: 10,238 Bytes
c7ba57f
 
4d8bc89
c7ba57f
 
 
 
 
8d7dc02
 
34530ed
e81335e
8d7dc02
 
 
 
 
 
f57ad88
8d7dc02
f57ad88
 
 
 
 
 
 
 
 
 
dc42766
f57ad88
 
 
 
 
 
 
 
 
 
 
 
4d8bc89
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
f57ad88
c7ba57f
 
 
b9a0902
8d7dc02
 
 
c7ba57f
 
 
8d7dc02
c7ba57f
 
 
 
 
 
 
 
 
 
 
8d7dc02
 
 
 
 
 
 
c7ba57f
b9a0902
c7ba57f
8d7dc02
 
 
 
c7ba57f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
8d7dc02
 
 
 
 
c7ba57f
 
b9a0902
 
c7ba57f
 
8d7dc02
c7ba57f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
8d7dc02
 
c7ba57f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
8d7dc02
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
---
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- feature-extraction
- sentence-similarity
- transformers
- rubert
- bi-encoder
- retriever
- msmarco
datasets:
- unicamp-dl/mmarco
language:
- ru
base_model: DeepPavlov/rubert-base-cased
widget:
- source_sentence: определение новичка
  sentences:
  - >-
    Часть пятая: Посещение художественного музея. Для новичка посещение
    художественного музея может стать непростой задачей. Большинство музеев
    очень большие и требуют выносливости и хорошего чувства направления.
    Потратьте некоторое время на то, чтобы узнать больше о музее, прежде чем
    отправиться в путь, - лучший способ обеспечить более информативное и
    приятное посещение. ПРЕЖДЕ ЧЕМ ТЫ УЙДЕШЬ.
  - Определение новичка - это новичок или человек в начале чего-либо.
  example_title: Example 1
- source_sentence: какое состояние может определить тест с физической нагрузкой
  sentences:
  - >-
    Тест с физической нагрузкой разработан, чтобы выяснить, содержат ли одна или
    несколько коронарных артерий, питающих сердце, жировые отложения (бляшки),
    которые блокируют кровеносный сосуд на 70% или более. Для подтверждения
    результата часто требуется дополнительное тестирование. Результат испытаний.
  - >-
    Тест направлен на то, чтобы выяснить, не получает ли какой-либо участок
    сердечной мышцы достаточный кровоток во время тренировки. Он похож на тест с
    физической нагрузкой, фармакологический или химический стресс-тест. Он также
    известен при стресс-тесте таллием, сканировании перфузии миокарда или
    радионуклидном тесте.
  example_title: Example 2
model-index:
- name: rubert-bi-encoder-mmarcoRU
  results:
  - task:
      type: Retrieval
    dataset:
      type: unicamp-dl/mmarco
      name: mMARCO (Russian)
      split: test
    metrics:
    - type: cos_sim-Recall@5
      value: 0.9997142857142856
    - type: cos_sim-MRR@10
      value: 0.9859809523809522
    - type: cos_sim-NDCG@10
      value: 0.9895648869214424
    - type: cos_sim-MAP@100
      value: 0.9859928571428572
    - type: dot_score-Recall@5
      value: 0.9995714285714286
    - type: dot_score-MRR@10
      value: 0.9821190476190476
    - type: dot_score-NDCG@10
      value: 0.986705516337711
    - type: dot_score-MAP@100
      value: 0.9821300366300368
license: mit
---


# DiTy/bi-encoder-russian-msmarco

This is a [sentence-transformers](https://www.SBERT.net) model based on a pre-trained [DeepPavlov/rubert-base-cased](https://huggingface.co/DeepPavlov/rubert-base-cased) and finetuned with [MS-MARCO Russian passage ranking dataset](https://huggingface.co/datasets/unicamp-dl/mmarco):
It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for asymmetric semantic search in the Russian language.

<!--- Describe your model here -->


## Usage (Sentence-Transformers)

Using this model becomes easy when you have [sentence-transformers](https://www.SBERT.net) installed:

```
pip install -U sentence-transformers
```

Then you can use the model like this:

```python
from sentence_transformers import SentenceTransformer, util

sentences = [
    'какое состояние может определить тест с физической нагрузкой', 
    'Тест с физической нагрузкой разработан, чтобы выяснить, содержат ли одна или несколько коронарных артерий, питающих сердце, жировые отложения (бляшки), которые блокируют кровеносный сосуд на 70% или более. Для подтверждения результата часто требуется дополнительное тестирование. Результат испытаний.',
    'Тест направлен на то, чтобы выяснить, не получает ли какой-либо участок сердечной мышцы достаточный кровоток во время тренировки. Он похож на тест с физической нагрузкой, фармакологический или химический стресс-тест. Он также известен при стресс-тесте таллием, сканировании перфузии миокарда или радионуклидном тесте.'
]

model = SentenceTransformer('DiTy/bi-encoder-russian-msmarco')
embeddings = model.encode(sentences)
results = util.semantic_search(embeddings[0], embeddings[1:])[0]

print(f"Sentence similarity: {results}")
# `Sentence similarity: [{'corpus_id': 0, 'score': 0.8545001149177551}, {'corpus_id': 1, 'score': 0.023047829046845436}]`
```



## Usage (HuggingFace Transformers)
Without [sentence-transformers](https://www.SBERT.net), you can use the model like this: First, you pass your input through the transformer model, then you have to apply the right pooling-operation on-top of the contextualized word embeddings.

```python
from transformers import AutoTokenizer, AutoModel
import torch


#Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] #First element of model_output contains all token embeddings
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)


# Sentences we want sentence embeddings for
sentences = [
  'красный плоский лишай вызван стрессом',
  'В большинстве случаев причину появления красного плоского лишая невозможно. Это не вызвано стрессом, но иногда эмоциональный стресс усугубляет ситуацию. Известно, что это заболевание возникает после контакта с определенными химическими веществами, такими как те, которые используются для проявления цветных фотографий. У некоторых людей определенные лекарства вызывают красный плоский лишай. Эти препараты включают лекарства от высокого кровяного давления, болезней сердца, диабета, артрита и малярии, антибиотики, нестероидные противовоспалительные обезболивающие и т. Д.',
  'К сожалению для работодателей, в разных штатах страны есть несколько дел, по которым суды установили, что стресс, вызванный работой, может быть основанием для увольнения с работы, если стресс достигает уровня серьезного состояния здоровья, которое вызывает они не могут выполнять свою работу.',
]

# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('DiTy/bi-encoder-russian-msmarco')
model = AutoModel.from_pretrained('DiTy/bi-encoder-russian-msmarco')

# Tokenize sentences
encoded_input = tokenizer(sentences, max_length=512, padding='max_length', truncation=True, return_tensors='pt')

# Compute token embeddings
with torch.no_grad():
    model_output = model(**encoded_input)

# Perform pooling. In this case, mean pooling.
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("Sentence embeddings:")
print(sentence_embeddings)
```


## Training
The model was trained with the parameters:

**DataLoader**:

`torch.utils.data.dataloader.DataLoader` of length 1989041 with parameters:
```
{'batch_size': 16, 'sampler': 'torch.utils.data.sampler.RandomSampler', 'batch_sampler': 'torch.utils.data.sampler.BatchSampler'}
```

**Loss**:

`sentence_transformers.losses.MultipleNegativesRankingLoss.MultipleNegativesRankingLoss` with parameters:
  ```
  {'scale': 20.0, 'similarity_fct': 'cos_sim'}
  ```

Parameters of the fit()-Method:
```
{
    "epochs": 5,
    "evaluation_steps": 250000,
    "evaluator": "sentence_transformers.evaluation.InformationRetrievalEvaluator",
    "max_grad_norm": 1,
    "optimizer_class": "<class 'torch.optim.adamw.AdamW'>",
    "optimizer_params": {
        "lr": 2e-05
    },
    "scheduler": "WarmupLinear",
    "steps_per_epoch": null,
    "warmup_steps": 10000,
    "weight_decay": 0.01
}
```


## Full Model Architecture
```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```