Hugging Face's logo

x2bee
/
KoModernBERT-ecs-GIST

Sentence Similarity
sentence-transformers
Safetensors
modernbert
feature-extraction
Generated from Trainer
dataset_size:1799998
loss:CachedGISTEmbedLoss
Eval Results
Inference Endpoints
Model card Files Community
CocoRoF commited on
Commit
d495c82
·
verified ·
1 Parent(s): 41c18d7

x2bee/ModernBERT-ecs-GIST

Browse files
Files changed (7) hide show
  1. 1_Pooling/config.json +10 -0
  2. 2_Dense/config.json +1 -0
  3. 2_Dense/model.safetensors +3 -0
  4. README.md +584 -0
  5. config_sentence_transformers.json +10 -0
  6. modules.json +20 -0
  7. sentence_bert_config.json +4 -0
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 768,
3
+ "pooling_mode_cls_token": false,
4
+ "pooling_mode_mean_tokens": true,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
2_Dense/config.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"in_features": 768, "out_features": 768, "bias": true, "activation_function": "torch.nn.modules.activation.Tanh"}
2_Dense/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:567f3dbf4ab3bb972f02a97f4434faa92ca020703b61912d50a8d17145bcb3bb
3
+ size 2362528
README.md ADDED
@@ -0,0 +1,584 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - sentence-transformers
4
+ - sentence-similarity
5
+ - feature-extraction
6
+ - generated_from_trainer
7
+ - dataset_size:1799998
8
+ - loss:CachedGISTEmbedLoss
9
+ base_model: x2bee/KoModernBERT-base-mlm-ecs-simcse
10
+ widget:
11
+ - source_sentence: 공용 다운 재킷은 다양한 체형과 스타일에 맞게 설계된 따뜻하고 편안한 외투이다. 이 재킷은 자연스러운 다운 충전재로
12
+ 보온성을 극대화하여 겨울철의 추위를 효과적으로 막아준다. 또한, 방수 기능을 갖춘 외부 소재로 제작되어 비 오는 날씨에도 적합하다. 캐주얼한
13
+ 디자인으로 일상생활은 물론 아웃도어 활동에도 잘 어울린다.
14
+ sentences:
15
+ - 소형 세탁기는 작은 공간에서도 사용 가능하며, 빠른 세탁이 가능한 제품이다. 따라서 바쁜 일상 속에서도 쉽게 사용할 수 있다. 이 제품은 환경
16
+ 친화적인 소비를 원하는 가정에 알맞은 선택이다.
17
+ - 이 재킷은 다양한 체형에 잘 맞도록 설계되어 편안함을 제공하며, 겨울철에도 따뜻함을 유지해주는 외투이다. 방수 기능이 있어 비 오는 날에도
18
+ 착용할 수 있고, 캐주얼한 디자인으로 일상적인 활동과 아웃도어에도 적합하다.
19
+ - 공용 다운 재킷은 모든 체형에 맞지 않으며, 추위를 잘 막아주지 않는다. 방수 기능이 없어서 비 오는 날씨에는 적합하지 않으며, 디자인이 너무
20
+ 정장 스타일이라 아웃도어 활동에는 어울리지 않는다.
21
+ - source_sentence: 농구용 무릎 보호대는 농구를 하는 동안 무릎을 보호하고 부상을 예방하기 위한 장비이다. 이 보호대는 탄력 있는 소재로
22
+ 제작되어 착용 시 편안함을 주며, 무릎 관절에 가해지는 압력을 줄여준다. 또한, 운동 중에 발생할 수 있는 충격을 흡수하여 선수의 안전을 도모하는
23
+ 데 도움을 준다.
24
+ sentences:
25
+ - 농구를 하는 선수들에게 무릎을 안전하게 보호하고 부상을 방지하기 위해 설계된 장비가 바로 농구용 무릎 보호대이다.
26
+ - 농구용 무릎 보호대는 농구를 하는 동안 무릎에 아무런 보호 효과도 주지 않는다.
27
+ - 고농축 세럼은 피부의 주름을 줄이고 탄력성을 높이는 데 효과적이다.
28
+ - source_sentence: 러닝머신은 실내에서 안전하게 달리거나 걷기 위해 설계된 운동 기구이다. 사용자가 원하는 속도와 경사를 설정할 수
29
+ 있어 개인의 운동 능력에 맞춰 조정이 가능하다. 다양한 프로그램과 기능이 탑재되어 있어 지루하지 않게 운동할 수 있도록 도와준다. 특히 날씨와
30
+ 상관없이 언제든지 운동할 수 있는 장점이 있다.
31
+ sentences:
32
+ - 러닝머신은 사용자가 언제든지 실내에서 운동할 수 있도록 돕는 장비여서, 다양한 설정을 통해 각자의 필요에 맞춰 조절할 수 있다.
33
+ - 레터링 맨투맨은 편안하면서도 세련된 느낌을 주는 캐주얼한 옷으로, 다양한 메시지가 담겨 있다.
34
+ - 러닝머신은 비가 오는 날에만 사용할 수 있는 운동 기구여서, 속도와 경사를 설정할 수 없다.
35
+ - source_sentence: 실내 농구대는 집이나 실내 공간에서 농구를 즐길 수 있도록 설계된 장비로, 공간을 절약하면서도 농구 연습 및 놀이를
36
+ 가능하게 해준다.
37
+ sentences:
38
+ - 헬스케어와 웰빙을 주제로 한 봉제 인형은 어린이들에게 스트레스를 해소하고 건강한 생활습관을 배울 수 있는 기회를 제공한다. 또한, 이 인형은
39
+ 교육적인 자료가 포함되어 있어 학습 효과를 높인다.
40
+ - 실내 농구대는 작은 공간에서도 농구를 할 수 있게 도와주는 매우 유용한 스포츠 장비이다.
41
+ - 실내 농구대는 외부에서만 사용할 수 있는 장비로, 실내에서는 사용할 수 없다.
42
+ - source_sentence: 다지기 기구는 재료를 효과적으로 다지고 혼합할 수 있는 주방 도구이다. 이 기구는 주로 요리 시 재료의 결합과 질감을
43
+ 향상시키기 위해 사용된다. 다지기 기구는 다양한 크기와 형태로 제공되어, 사용자의 필요에 맞게 선택할 수 있다. 이를 통해 요리의 품질을 높이고,
44
+ 조리 시간을 단축할 수 있다.
45
+ sentences:
46
+ - 다지기 기구는 재료를 혼합하지 않고 오히려 재료를 분리하는 주방 도구이다. 이는 요리를 할 때 전혀 도움이 되지 않는다.
47
+ - 하드캔디는 설탕이나 시럽으로 만든 단단한 과자이며, 여러 가지 맛과 색을 갖고 있어 오랫동안 즐길 수 있다. 이 과자는 간식이나 선물용으로
48
+ 많이 사용되며, 아이들과 성인들 모두에게 인기가 있다.
49
+ - 다지기 기구는 음식을 조리할 때 재료를 잘 섞고 부드럽게 만드는 데 도움을 주는 필수 주방 도구이다. 이는 요리의 맛과 질을 개선하고, 요리
50
+ 과정을 보다 효율적으로 만들어 준다.
51
+ pipeline_tag: sentence-similarity
52
+ library_name: sentence-transformers
53
+ metrics:
54
+ - cosine_accuracy
55
+ model-index:
56
+ - name: SentenceTransformer based on x2bee/KoModernBERT-base-mlm-ecs-simcse
57
+ results:
58
+ - task:
59
+ type: triplet
60
+ name: Triplet
61
+ dataset:
62
+ name: test triplet
63
+ type: test_triplet
64
+ metrics:
65
+ - type: cosine_accuracy
66
+ value: 0.9791250228881836
67
+ name: Cosine Accuracy
68
+ ---
69
+
70
+ # SentenceTransformer based on x2bee/KoModernBERT-base-mlm-ecs-simcse
71
+
72
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [x2bee/KoModernBERT-base-mlm-ecs-simcse](https://huggingface.co/x2bee/KoModernBERT-base-mlm-ecs-simcse). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
73
+
74
+ ## Model Details
75
+
76
+ ### Model Description
77
+ - **Model Type:** Sentence Transformer
78
+ - **Base model:** [x2bee/KoModernBERT-base-mlm-ecs-simcse](https://huggingface.co/x2bee/KoModernBERT-base-mlm-ecs-simcse) <!-- at revision 0620f5cd999b4ade4e93c107a4edc32067fd7470 -->
79
+ - **Maximum Sequence Length:** 2048 tokens
80
+ - **Output Dimensionality:** 768 dimensions
81
+ - **Similarity Function:** Cosine Similarity
82
+ <!-- - **Training Dataset:** Unknown -->
83
+ <!-- - **Language:** Unknown -->
84
+ <!-- - **License:** Unknown -->
85
+
86
+ ### Model Sources
87
+
88
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
89
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
90
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
91
+
92
+ ### Full Model Architecture
93
+
94
+ ```
95
+ SentenceTransformer(
96
+ (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False}) with Transformer model: ModernBertModel
97
+ (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
98
+ (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
99
+ )
100
+ ```
101
+
102
+ ## Usage
103
+
104
+ ### Direct Usage (Sentence Transformers)
105
+
106
+ First install the Sentence Transformers library:
107
+
108
+ ```bash
109
+ pip install -U sentence-transformers
110
+ ```
111
+
112
+ Then you can load this model and run inference.
113
+ ```python
114
+ from sentence_transformers import SentenceTransformer
115
+
116
+ # Download from the 🤗 Hub
117
+ model = SentenceTransformer("x2bee/ModernBERT-ecs-GIST")
118
+ # Run inference
119
+ sentences = [
120
+ '다지기 기구는 재료를 효과적으로 다지고 혼합할 수 있는 주방 도구이다. 이 기구는 주로 요리 시 재료의 결합과 질감을 향상시키기 위해 사용된다. 다지기 기구는 다양한 크기와 형태로 제공되어, 사용자의 필요에 맞게 선택할 수 있다. 이를 통해 요리의 품질을 높이고, 조리 시간을 단축할 수 있다.',
121
+ '다지기 기구는 음식을 조리할 때 재료를 잘 섞고 부드럽게 만드는 데 도움을 주는 필수 주방 도구이다. 이는 요리의 맛과 질을 개선하고, 요리 과정을 보다 효율적으로 만들어 준다.',
122
+ '다지기 기구는 재료를 혼합하지 않고 오히려 재료를 분리하는 주방 도구이다. 이는 요리를 할 때 전혀 도움이 되지 않는다.',
123
+ ]
124
+ embeddings = model.encode(sentences)
125
+ print(embeddings.shape)
126
+ # [3, 768]
127
+
128
+ # Get the similarity scores for the embeddings
129
+ similarities = model.similarity(embeddings, embeddings)
130
+ print(similarities.shape)
131
+ # [3, 3]
132
+ ```
133
+
134
+ <!--
135
+ ### Direct Usage (Transformers)
136
+
137
+ <details><summary>Click to see the direct usage in Transformers</summary>
138
+
139
+ </details>
140
+ -->
141
+
142
+ <!--
143
+ ### Downstream Usage (Sentence Transformers)
144
+
145
+ You can finetune this model on your own dataset.
146
+
147
+ <details><summary>Click to expand</summary>
148
+
149
+ </details>
150
+ -->
151
+
152
+ <!--
153
+ ### Out-of-Scope Use
154
+
155
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
156
+ -->
157
+
158
+ ## Evaluation
159
+
160
+ ### Metrics
161
+
162
+ #### Triplet
163
+
164
+ * Dataset: `test_triplet`
165
+ * Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
166
+
167
+ | Metric | Value |
168
+ |:--------------------|:-----------|
169
+ | **cosine_accuracy** | **0.9791** |
170
+
171
+ <!--
172
+ ## Bias, Risks and Limitations
173
+
174
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
175
+ -->
176
+
177
+ <!--
178
+ ### Recommendations
179
+
180
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
181
+ -->
182
+
183
+ ## Training Details
184
+
185
+ ### Training Dataset
186
+
187
+ #### Unnamed Dataset
188
+
189
+ * Size: 1,799,998 training samples
190
+ * Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
191
+ * Approximate statistics based on the first 1000 samples:
192
+ | | anchor | positive | negative |
193
+ |:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
194
+ | type | string | string | string |
195
+ | details | <ul><li>min: 17 tokens</li><li>mean: 70.96 tokens</li><li>max: 152 tokens</li></ul> | <ul><li>min: 15 tokens</li><li>mean: 53.97 tokens</li><li>max: 153 tokens</li></ul> | <ul><li>min: 14 tokens</li><li>mean: 49.48 tokens</li><li>max: 150 tokens</li></ul> |
196
+ * Samples:
197
+ | anchor | positive | negative |
198
+ |:--------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------|:-------------------------------------------------------------|
199
+ | <code>주방 수납 용품은 주방 내에서 조리 도구, 식기 및 기타 용품을 효율적으로 정리하고 보관할 수 있도록 도와주는 다양한 제품들이다.</code> | <code>주방용품은 요리 도구와 식기 같은 물건들을 잘 정리하고 저장하기 위해 여러 가지 방식으로 디자인된 제품이다.</code> | <code>주방 수납 용품은 조리 도구나 식기를 정리하는 데 전혀 도움이 되지 않는 제품들이다.</code> |
200
+ | <code>이염 방지 용품은 다양한 소재의 제품에서 발생할 수 있는 이염을 예방하기 위한 용품이다.</code> | <code>이염 방지 용품은 여러 가지 재료로 만들어진 제품에서 발생할 수 있는 색이 번지는 현상을 막기 위해 만들어진 것이다.</code> | <code>이염 방지 용품은 오직 단일한 소재의 제품에서만 사용할 수 있다.</code> |
201
+ | <code>차량 핸들 커버는 자동차 핸들을 보호하고 미끄럼을 방지하며, 더욱 편안한 그립감을 제공하는 제품이다.</code> | <code>자동차 핸들을 덮는 커버는 핸들의 마모를 방지하고, 운전 시 지탱력을 높이며, 쥐는 느낌을 향상시키는 용품이다.</code> | <code>차량 핸들 커버는 핸들을 보호하지 않으며, 미끄럼을 방지하는 기능이 없다.</code> |
202
+ * Loss: [<code>CachedGISTEmbedLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedgistembedloss) with these parameters:
203
+ ```json
204
+ {'guide': SentenceTransformer(
205
+ (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
206
+ (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
207
+ (2): Normalize()
208
+ ), 'temperature': 0.01}
209
+ ```
210
+
211
+ ### Evaluation Dataset
212
+
213
+ #### Unnamed Dataset
214
+
215
+ * Size: 200,000 evaluation samples
216
+ * Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
217
+ * Approximate statistics based on the first 1000 samples:
218
+ | | anchor | positive | negative |
219
+ |:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
220
+ | type | string | string | string |
221
+ | details | <ul><li>min: 18 tokens</li><li>mean: 70.19 tokens</li><li>max: 151 tokens</li></ul> | <ul><li>min: 15 tokens</li><li>mean: 53.27 tokens</li><li>max: 155 tokens</li></ul> | <ul><li>min: 15 tokens</li><li>mean: 48.68 tokens</li><li>max: 138 tokens</li></ul> |
222
+ * Samples:
223
+ | anchor | positive | negative |
224
+ |:---------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------|
225
+ | <code>다중지능 평가 도구는 개인의 다양한 지능 유형을 평가하여 강점과 약점을 파악하는 데 도움을 주는 도구이다.</code> | <code>다중지능 평가 도구는 각 개인이 가진 여러 지능의 특징을 분석하여 이들의 장단점을 이해하도록 도와주는 기구다.</code> | <code>다중지능 평가 도구는 개인의 지능 유형을 전혀 평가하지 못하는 도구이다.</code> |
226
+ | <code>데이터베이스 설계에 관한 책은 데이터베이스 구조와 설계 원칙을 설명하는 참고서로, 효과적인 데이터 저장 및 관리 방법을 제시한다.</code> | <code>책에 담긴 내용은 데이터베이스의 설계 및 구조화 방식에 대한 정보를 제공하며, 이는 데이터의 효율적인 저장과 관리를 위한 기초 지식이다.</code> | <code>이 책은 데이터베이스 설계와 관련된 내용을 포함하고 있지 않으며, 효과적인 데이터 저장 방법을 전혀 언급하지 않는다.</code> |
227
+ | <code>14K, 18K 코티체 사각 컷팅 귀걸이는 고급스러운 14K 또는 18K 금으로 제작된 귀걸이로, 사각 형태의 컷팅 디자인이 특징인 세련된 액세서리이다.</code> | <code>세련된 디자인과 고급 재료로 만들어진 귀걸이는 14K 또는 18K 금으로 제작된 사각 컷 악세서리이다.</code> | <code>14K 또는 18K 금으로 만들어진 컷팅이 없는 귀걸이는 고급스럽지 않다.</code> |
228
+ * Loss: [<code>CachedGISTEmbedLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedgistembedloss) with these parameters:
229
+ ```json
230
+ {'guide': SentenceTransformer(
231
+ (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
232
+ (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
233
+ (2): Normalize()
234
+ ), 'temperature': 0.01}
235
+ ```
236
+
237
+ ### Training Hyperparameters
238
+ #### Non-Default Hyperparameters
239
+
240
+ - `overwrite_output_dir`: True
241
+ - `eval_strategy`: steps
242
+ - `per_device_train_batch_size`: 4096
243
+ - `per_device_eval_batch_size`: 16
244
+ - `learning_rate`: 1e-05
245
+ - `warmup_ratio`: 0.2
246
+ - `push_to_hub`: True
247
+ - `hub_model_id`: x2bee/ModernBERT-ecs-GIST
248
+ - `hub_strategy`: checkpoint
249
+ - `batch_sampler`: no_duplicates
250
+
251
+ #### All Hyperparameters
252
+ <details><summary>Click to expand</summary>
253
+
254
+ - `overwrite_output_dir`: True
255
+ - `do_predict`: False
256
+ - `eval_strategy`: steps
257
+ - `prediction_loss_only`: True
258
+ - `per_device_train_batch_size`: 4096
259
+ - `per_device_eval_batch_size`: 16
260
+ - `per_gpu_train_batch_size`: None
261
+ - `per_gpu_eval_batch_size`: None
262
+ - `gradient_accumulation_steps`: 1
263
+ - `eval_accumulation_steps`: None
264
+ - `torch_empty_cache_steps`: None
265
+ - `learning_rate`: 1e-05
266
+ - `weight_decay`: 0.0
267
+ - `adam_beta1`: 0.9
268
+ - `adam_beta2`: 0.999
269
+ - `adam_epsilon`: 1e-08
270
+ - `max_grad_norm`: 1.0
271
+ - `num_train_epochs`: 3.0
272
+ - `max_steps`: -1
273
+ - `lr_scheduler_type`: linear
274
+ - `lr_scheduler_kwargs`: {}
275
+ - `warmup_ratio`: 0.2
276
+ - `warmup_steps`: 0
277
+ - `log_level`: passive
278
+ - `log_level_replica`: warning
279
+ - `log_on_each_node`: True
280
+ - `logging_nan_inf_filter`: True
281
+ - `save_safetensors`: True
282
+ - `save_on_each_node`: False
283
+ - `save_only_model`: False
284
+ - `restore_callback_states_from_checkpoint`: False
285
+ - `no_cuda`: False
286
+ - `use_cpu`: False
287
+ - `use_mps_device`: False
288
+ - `seed`: 42
289
+ - `data_seed`: None
290
+ - `jit_mode_eval`: False
291
+ - `use_ipex`: False
292
+ - `bf16`: False
293
+ - `fp16`: False
294
+ - `fp16_opt_level`: O1
295
+ - `half_precision_backend`: auto
296
+ - `bf16_full_eval`: False
297
+ - `fp16_full_eval`: False
298
+ - `tf32`: None
299
+ - `local_rank`: 0
300
+ - `ddp_backend`: None
301
+ - `tpu_num_cores`: None
302
+ - `tpu_metrics_debug`: False
303
+ - `debug`: []
304
+ - `dataloader_drop_last`: True
305
+ - `dataloader_num_workers`: 0
306
+ - `dataloader_prefetch_factor`: None
307
+ - `past_index`: -1
308
+ - `disable_tqdm`: False
309
+ - `remove_unused_columns`: True
310
+ - `label_names`: None
311
+ - `load_best_model_at_end`: False
312
+ - `ignore_data_skip`: False
313
+ - `fsdp`: []
314
+ - `fsdp_min_num_params`: 0
315
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
316
+ - `fsdp_transformer_layer_cls_to_wrap`: None
317
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
318
+ - `deepspeed`: None
319
+ - `label_smoothing_factor`: 0.0
320
+ - `optim`: adamw_torch
321
+ - `optim_args`: None
322
+ - `adafactor`: False
323
+ - `group_by_length`: False
324
+ - `length_column_name`: length
325
+ - `ddp_find_unused_parameters`: None
326
+ - `ddp_bucket_cap_mb`: None
327
+ - `ddp_broadcast_buffers`: False
328
+ - `dataloader_pin_memory`: True
329
+ - `dataloader_persistent_workers`: False
330
+ - `skip_memory_metrics`: True
331
+ - `use_legacy_prediction_loop`: False
332
+ - `push_to_hub`: True
333
+ - `resume_from_checkpoint`: None
334
+ - `hub_model_id`: x2bee/ModernBERT-ecs-GIST
335
+ - `hub_strategy`: checkpoint
336
+ - `hub_private_repo`: None
337
+ - `hub_always_push`: False
338
+ - `gradient_checkpointing`: False
339
+ - `gradient_checkpointing_kwargs`: None
340
+ - `include_inputs_for_metrics`: False
341
+ - `include_for_metrics`: []
342
+ - `eval_do_concat_batches`: True
343
+ - `fp16_backend`: auto
344
+ - `push_to_hub_model_id`: None
345
+ - `push_to_hub_organization`: None
346
+ - `mp_parameters`:
347
+ - `auto_find_batch_size`: False
348
+ - `full_determinism`: False
349
+ - `torchdynamo`: None
350
+ - `ray_scope`: last
351
+ - `ddp_timeout`: 1800
352
+ - `torch_compile`: False
353
+ - `torch_compile_backend`: None
354
+ - `torch_compile_mode`: None
355
+ - `dispatch_batches`: None
356
+ - `split_batches`: None
357
+ - `include_tokens_per_second`: False
358
+ - `include_num_input_tokens_seen`: False
359
+ - `neftune_noise_alpha`: None
360
+ - `optim_target_modules`: None
361
+ - `batch_eval_metrics`: False
362
+ - `eval_on_start`: False
363
+ - `use_liger_kernel`: False
364
+ - `eval_use_gather_object`: False
365
+ - `average_tokens_across_devices`: False
366
+ - `prompts`: None
367
+ - `batch_sampler`: no_duplicates
368
+ - `multi_dataset_batch_sampler`: proportional
369
+
370
+ </details>
371
+
372
+ ### Training Logs
373
+ <details><summary>Click to expand</summary>
374
+
375
+ | Epoch | Step | Training Loss | Validation Loss | test_triplet_cosine_accuracy |
376
+ |:------:|:----:|:-------------:|:---------------:|:----------------------------:|
377
+ | 0.0185 | 1 | 2.3684 | - | - |
378
+ | 0.0370 | 2 | 2.3889 | - | - |
379
+ | 0.0556 | 3 | 2.3838 | - | - |
380
+ | 0.0741 | 4 | 2.3771 | - | - |
381
+ | 0.0926 | 5 | 2.3611 | - | - |
382
+ | 0.1111 | 6 | 2.3567 | - | - |
383
+ | 0.1296 | 7 | 2.3447 | - | - |
384
+ | 0.1481 | 8 | 2.3366 | - | - |
385
+ | 0.1667 | 9 | 2.2655 | - | - |
386
+ | 0.1852 | 10 | 2.2951 | - | - |
387
+ | 0.2037 | 11 | 2.2416 | - | - |
388
+ | 0.2222 | 12 | 2.2242 | - | - |
389
+ | 0.2407 | 13 | 2.1981 | - | - |
390
+ | 0.2593 | 14 | 2.1923 | - | - |
391
+ | 0.2778 | 15 | 2.0876 | - | - |
392
+ | 0.2963 | 16 | 2.0796 | - | - |
393
+ | 0.3148 | 17 | 2.0372 | - | - |
394
+ | 0.3333 | 18 | 1.9932 | - | - |
395
+ | 0.3519 | 19 | 1.9682 | - | - |
396
+ | 0.3704 | 20 | 1.9146 | - | - |
397
+ | 0.3889 | 21 | 1.8736 | - | - |
398
+ | 0.4074 | 22 | 1.8396 | - | - |
399
+ | 0.4259 | 23 | 1.7937 | - | - |
400
+ | 0.4444 | 24 | 1.7365 | - | - |
401
+ | 0.4630 | 25 | 1.6928 | 0.1195 | 0.9867 |
402
+ | 0.4815 | 26 | 1.6248 | - | - |
403
+ | 0.5 | 27 | 1.5888 | - | - |
404
+ | 0.5185 | 28 | 1.5364 | - | - |
405
+ | 0.5370 | 29 | 1.4799 | - | - |
406
+ | 0.5556 | 30 | 1.4308 | - | - |
407
+ | 0.5741 | 31 | 1.3976 | - | - |
408
+ | 0.5926 | 32 | 1.3449 | - | - |
409
+ | 0.6111 | 33 | 1.3078 | - | - |
410
+ | 0.6296 | 34 | 1.2954 | - | - |
411
+ | 0.6481 | 35 | 1.2216 | - | - |
412
+ | 0.6667 | 36 | 1.15 | - | - |
413
+ | 0.6852 | 37 | 1.1438 | - | - |
414
+ | 0.7037 | 38 | 1.1094 | - | - |
415
+ | 0.7222 | 39 | 1.0956 | - | - |
416
+ | 0.7407 | 40 | 1.0417 | - | - |
417
+ | 0.7593 | 41 | 1.0168 | - | - |
418
+ | 0.7778 | 42 | 0.9877 | - | - |
419
+ | 0.7963 | 43 | 0.98 | - | - |
420
+ | 0.8148 | 44 | 0.9519 | - | - |
421
+ | 0.8333 | 45 | 0.9394 | - | - |
422
+ | 0.8519 | 46 | 0.9178 | - | - |
423
+ | 0.8704 | 47 | 0.8871 | - | - |
424
+ | 0.8889 | 48 | 0.8571 | - | - |
425
+ | 0.9074 | 49 | 0.8474 | - | - |
426
+ | 0.9259 | 50 | 0.8474 | 0.0262 | 0.9856 |
427
+ | 0.9444 | 51 | 0.8348 | - | - |
428
+ | 0.9630 | 52 | 0.8005 | - | - |
429
+ | 0.9815 | 53 | 0.7889 | - | - |
430
+ | 1.0 | 54 | 0.7706 | - | - |
431
+ | 1.0185 | 55 | 0.7546 | - | - |
432
+ | 1.0370 | 56 | 0.7205 | - | - |
433
+ | 1.0556 | 57 | 0.7285 | - | - |
434
+ | 1.0741 | 58 | 0.7147 | - | - |
435
+ | 1.0926 | 59 | 0.6896 | - | - |
436
+ | 1.1111 | 60 | 0.6798 | - | - |
437
+ | 1.1296 | 61 | 0.6816 | - | - |
438
+ | 1.1481 | 62 | 0.6665 | - | - |
439
+ | 1.1667 | 63 | 0.6676 | - | - |
440
+ | 1.1852 | 64 | 0.6518 | - | - |
441
+ | 1.2037 | 65 | 0.6523 | - | - |
442
+ | 1.2222 | 66 | 0.6249 | - | - |
443
+ | 1.2407 | 67 | 0.6133 | - | - |
444
+ | 1.2593 | 68 | 0.6274 | - | - |
445
+ | 1.2778 | 69 | 0.6034 | - | - |
446
+ | 1.2963 | 70 | 0.5967 | - | - |
447
+ | 1.3148 | 71 | 0.5882 | - | - |
448
+ | 1.3333 | 72 | 0.5757 | - | - |
449
+ | 1.3519 | 73 | 0.5616 | - | - |
450
+ | 1.3704 | 74 | 0.5584 | - | - |
451
+ | 1.3889 | 75 | 0.5554 | 0.0191 | 0.9775 |
452
+ | 1.4074 | 76 | 0.5543 | - | - |
453
+ | 1.4259 | 77 | 0.5404 | - | - |
454
+ | 1.4444 | 78 | 0.5539 | - | - |
455
+ | 1.4630 | 79 | 0.5371 | - | - |
456
+ | 1.4815 | 80 | 0.5338 | - | - |
457
+ | 1.5 | 81 | 0.5098 | - | - |
458
+ | 1.5185 | 82 | 0.5045 | - | - |
459
+ | 1.5370 | 83 | 0.5008 | - | - |
460
+ | 1.5556 | 84 | 0.4976 | - | - |
461
+ | 1.5741 | 85 | 0.4865 | - | - |
462
+ | 1.5926 | 86 | 0.4706 | - | - |
463
+ | 1.6111 | 87 | 0.465 | - | - |
464
+ | 1.6296 | 88 | 0.4729 | - | - |
465
+ | 1.6481 | 89 | 0.4575 | - | - |
466
+ | 1.6667 | 90 | 0.4516 | - | - |
467
+ | 1.6852 | 91 | 0.453 | - | - |
468
+ | 1.7037 | 92 | 0.4306 | - | - |
469
+ | 1.7222 | 93 | 0.434 | - | - |
470
+ | 1.7407 | 94 | 0.4321 | - | - |
471
+ | 1.7593 | 95 | 0.4227 | - | - |
472
+ | 1.7778 | 96 | 0.4186 | - | - |
473
+ | 1.7963 | 97 | 0.4022 | - | - |
474
+ | 1.8148 | 98 | 0.4057 | - | - |
475
+ | 1.8333 | 99 | 0.4018 | - | - |
476
+ | 1.8519 | 100 | 0.3852 | 0.0139 | 0.9753 |
477
+ | 1.8704 | 101 | 0.389 | - | - |
478
+ | 1.8889 | 102 | 0.3801 | - | - |
479
+ | 1.9074 | 103 | 0.3896 | - | - |
480
+ | 1.9259 | 104 | 0.3759 | - | - |
481
+ | 1.9444 | 105 | 0.3614 | - | - |
482
+ | 1.9630 | 106 | 0.3616 | - | - |
483
+ | 1.9815 | 107 | 0.3422 | - | - |
484
+ | 2.0 | 108 | 0.3516 | - | - |
485
+ | 2.0185 | 109 | 0.3507 | - | - |
486
+ | 2.0370 | 110 | 0.3387 | - | - |
487
+ | 2.0556 | 111 | 0.343 | - | - |
488
+ | 2.0741 | 112 | 0.3335 | - | - |
489
+ | 2.0926 | 113 | 0.3356 | - | - |
490
+ | 2.1111 | 114 | 0.3262 | - | - |
491
+ | 2.1296 | 115 | 0.3236 | - | - |
492
+ | 2.1481 | 116 | 0.3201 | - | - |
493
+ | 2.1667 | 117 | 0.3267 | - | - |
494
+ | 2.1852 | 118 | 0.3148 | - | - |
495
+ | 2.2037 | 119 | 0.3106 | - | - |
496
+ | 2.2222 | 120 | 0.3033 | - | - |
497
+ | 2.2407 | 121 | 0.3065 | - | - |
498
+ | 2.2593 | 122 | 0.3144 | - | - |
499
+ | 2.2778 | 123 | 0.3038 | - | - |
500
+ | 2.2963 | 124 | 0.2964 | - | - |
501
+ | 2.3148 | 125 | 0.2815 | 0.0107 | 0.9766 |
502
+ | 2.3333 | 126 | 0.2997 | - | - |
503
+ | 2.3519 | 127 | 0.2863 | - | - |
504
+ | 2.3704 | 128 | 0.2809 | - | - |
505
+ | 2.3889 | 129 | 0.2786 | - | - |
506
+ | 2.4074 | 130 | 0.2878 | - | - |
507
+ | 2.4259 | 131 | 0.2736 | - | - |
508
+ | 2.4444 | 132 | 0.2786 | - | - |
509
+ | 2.4630 | 133 | 0.2695 | - | - |
510
+ | 2.4815 | 134 | 0.2731 | - | - |
511
+ | 2.5 | 135 | 0.2721 | - | - |
512
+ | 2.5185 | 136 | 0.2681 | - | - |
513
+ | 2.5370 | 137 | 0.2689 | - | - |
514
+ | 2.5556 | 138 | 0.2545 | - | - |
515
+ | 2.5741 | 139 | 0.2617 | - | - |
516
+ | 2.5926 | 140 | 0.2633 | - | - |
517
+ | 2.6111 | 141 | 0.2523 | - | - |
518
+ | 2.6296 | 142 | 0.2518 | - | - |
519
+ | 2.6481 | 143 | 0.2576 | - | - |
520
+ | 2.6667 | 144 | 0.2596 | - | - |
521
+ | 2.6852 | 145 | 0.2537 | - | - |
522
+ | 2.7037 | 146 | 0.2542 | - | - |
523
+ | 2.7222 | 147 | 0.2476 | - | - |
524
+ | 2.7407 | 148 | 0.2397 | - | - |
525
+ | 2.7593 | 149 | 0.2448 | - | - |
526
+ | 2.7778 | 150 | 0.2431 | 0.0084 | 0.9791 |
527
+ | 2.7963 | 151 | 0.2408 | - | - |
528
+ | 2.8148 | 152 | 0.2394 | - | - |
529
+ | 2.8333 | 153 | 0.2317 | - | - |
530
+ | 2.8519 | 154 | 0.2367 | - | - |
531
+ | 2.8704 | 155 | 0.2375 | - | - |
532
+ | 2.8889 | 156 | 0.2351 | - | - |
533
+ | 2.9074 | 157 | 0.2448 | - | - |
534
+ | 2.9259 | 158 | 0.229 | - | - |
535
+ | 2.9444 | 159 | 0.2274 | - | - |
536
+ | 2.9630 | 160 | 0.2313 | - | - |
537
+ | 2.9815 | 161 | 0.2269 | - | - |
538
+ | 3.0 | 162 | 0.2298 | - | - |
539
+
540
+ </details>
541
+
542
+ ### Framework Versions
543
+ - Python: 3.11.10
544
+ - Sentence Transformers: 3.4.1
545
+ - Transformers: 4.49.0
546
+ - PyTorch: 2.5.1+cu124
547
+ - Accelerate: 1.4.0
548
+ - Datasets: 3.3.2
549
+ - Tokenizers: 0.21.0
550
+
551
+ ## Citation
552
+
553
+ ### BibTeX
554
+
555
+ #### Sentence Transformers
556
+ ```bibtex
557
+ @inproceedings{reimers-2019-sentence-bert,
558
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
559
+ author = "Reimers, Nils and Gurevych, Iryna",
560
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
561
+ month = "11",
562
+ year = "2019",
563
+ publisher = "Association for Computational Linguistics",
564
+ url = "https://arxiv.org/abs/1908.10084",
565
+ }
566
+ ```
567
+
568
+ <!--
569
+ ## Glossary
570
+
571
+ *Clearly define terms in order to be accessible across audiences.*
572
+ -->
573
+
574
+ <!--
575
+ ## Model Card Authors
576
+
577
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
578
+ -->
579
+
580
+ <!--
581
+ ## Model Card Contact
582
+
583
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
584
+ -->
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.4.1",
4
+ "transformers": "4.49.0",
5
+ "pytorch": "2.5.1+cu124"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": "cosine"
10
+ }
modules.json ADDED
@@ -0,0 +1,20 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Dense",
18
+ "type": "sentence_transformers.models.Dense"
19
+ }
20
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 2048,
3
+ "do_lower_case": false
4
+ }