x2bee/KoModernBERT-ecs-GIST

SentenceTransformer based on x2bee/KoModernBERT-base-mlm-ecs-simcse

This is a sentence-transformers model finetuned from x2bee/KoModernBERT-base-mlm-ecs-simcse. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: x2bee/KoModernBERT-base-mlm-ecs-simcse
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("x2bee/ModernBERT-ecs-GIST")
# Run inference
sentences = [
    '다지기 기구는 재료를 효과적으로 다지고 혼합할 수 있는 주방 도구이다. 이 기구는 주로 요리 시 재료의 결합과 질감을 향상시키기 위해 사용된다. 다지기 기구는 다양한 크기와 형태로 제공되어, 사용자의 필요에 맞게 선택할 수 있다. 이를 통해 요리의 품질을 높이고, 조리 시간을 단축할 수 있다.',
    '다지기 기구는 음식을 조리할 때 재료를 잘 섞고 부드럽게 만드는 데 도움을 주는 필수 주방 도구이다. 이는 요리의 맛과 질을 개선하고, 요리 과정을 보다 효율적으로 만들어 준다.',
    '다지기 기구는 재료를 혼합하지 않고 오히려 재료를 분리하는 주방 도구이다. 이는 요리를 할 때 전혀 도움이 되지 않는다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: test_triplet
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9791

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,799,998 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 17 tokens mean: 70.96 tokens max: 152 tokens	min: 15 tokens mean: 53.97 tokens max: 153 tokens	min: 14 tokens mean: 49.48 tokens max: 150 tokens

• Samples:

  anchor	positive	negative
  주방 수납 용품은 주방 내에서 조리 도구, 식기 및 기타 용품을 효율적으로 정리하고 보관할 수 있도록 도와주는 다양한 제품들이다.	주방용품은 요리 도구와 식기 같은 물건들을 잘 정리하고 저장하기 위해 여러 가지 방식으로 디자인된 제품이다.	주방 수납 용품은 조리 도구나 식기를 정리하는 데 전혀 도움이 되지 않는 제품들이다.
  이염 방지 용품은 다양한 소재의 제품에서 발생할 수 있는 이염을 예방하기 위한 용품이다.	이염 방지 용품은 여러 가지 재료로 만들어진 제품에서 발생할 수 있는 색이 번지는 현상을 막기 위해 만들어진 것이다.	이염 방지 용품은 오직 단일한 소재의 제품에서만 사용할 수 있다.
  차량 핸들 커버는 자동차 핸들을 보호하고 미끄럼을 방지하며, 더욱 편안한 그립감을 제공하는 제품이다.	자동차 핸들을 덮는 커버는 핸들의 마모를 방지하고, 운전 시 지탱력을 높이며, 쥐는 느낌을 향상시키는 용품이다.	차량 핸들 커버는 핸들을 보호하지 않으며, 미끄럼을 방지하는 기능이 없다.

• Loss: CachedGISTEmbedLoss with these parameters:

  {'guide': SentenceTransformer(
    (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
    (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
    (2): Normalize()
  ), 'temperature': 0.01}
  

Evaluation Dataset

Unnamed Dataset

• Size: 200,000 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 18 tokens mean: 70.19 tokens max: 151 tokens	min: 15 tokens mean: 53.27 tokens max: 155 tokens	min: 15 tokens mean: 48.68 tokens max: 138 tokens

• Samples:

  anchor	positive	negative
  다중지능 평가 도구는 개인의 다양한 지능 유형을 평가하여 강점과 약점을 파악하는 데 도움을 주는 도구이다.	다중지능 평가 도구는 각 개인이 가진 여러 지능의 특징을 분석하여 이들의 장단점을 이해하도록 도와주는 기구다.	다중지능 평가 도구는 개인의 지능 유형을 전혀 평가하지 못하는 도구이다.
  데이터베이스 설계에 관한 책은 데이터베이스 구조와 설계 원칙을 설명하는 참고서로, 효과적인 데이터 저장 및 관리 방법을 제시한다.	책에 담긴 내용은 데이터베이스의 설계 및 구조화 방식에 대한 정보를 제공하며, 이는 데이터의 효율적인 저장과 관리를 위한 기초 지식이다.	이 책은 데이터베이스 설계와 관련된 내용을 포함하고 있지 않으며, 효과적인 데이터 저장 방법을 전혀 언급하지 않는다.
  14K, 18K 코티체 사각 컷팅 귀걸이는 고급스러운 14K 또는 18K 금으로 제작된 귀걸이로, 사각 형태의 컷팅 디자인이 특징인 세련된 액세서리이다.	세련된 디자인과 고급 재료로 만들어진 귀걸이는 14K 또는 18K 금으로 제작된 사각 컷 악세서리이다.	14K 또는 18K 금으로 만들어진 컷팅이 없는 귀걸이는 고급스럽지 않다.

• Loss: CachedGISTEmbedLoss with these parameters:

  {'guide': SentenceTransformer(
    (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
    (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
    (2): Normalize()
  ), 'temperature': 0.01}
  

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• eval_strategy: steps
• per_device_train_batch_size: 4096
• per_device_eval_batch_size: 16
• learning_rate: 1e-05
• warmup_ratio: 0.2
• push_to_hub: True
• hub_model_id: x2bee/ModernBERT-ecs-GIST
• hub_strategy: checkpoint
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4096
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3.0
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.2
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: True
• resume_from_checkpoint: None
• hub_model_id: x2bee/ModernBERT-ecs-GIST
• hub_strategy: checkpoint
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	test_triplet_cosine_accuracy
0.0185	1	2.3684	-	-
0.0370	2	2.3889	-	-
0.0556	3	2.3838	-	-
0.0741	4	2.3771	-	-
0.0926	5	2.3611	-	-
0.1111	6	2.3567	-	-
0.1296	7	2.3447	-	-
0.1481	8	2.3366	-	-
0.1667	9	2.2655	-	-
0.1852	10	2.2951	-	-
0.2037	11	2.2416	-	-
0.2222	12	2.2242	-	-
0.2407	13	2.1981	-	-
0.2593	14	2.1923	-	-
0.2778	15	2.0876	-	-
0.2963	16	2.0796	-	-
0.3148	17	2.0372	-	-
0.3333	18	1.9932	-	-
0.3519	19	1.9682	-	-
0.3704	20	1.9146	-	-
0.3889	21	1.8736	-	-
0.4074	22	1.8396	-	-
0.4259	23	1.7937	-	-
0.4444	24	1.7365	-	-
0.4630	25	1.6928	0.1195	0.9867
0.4815	26	1.6248	-	-
0.5	27	1.5888	-	-
0.5185	28	1.5364	-	-
0.5370	29	1.4799	-	-
0.5556	30	1.4308	-	-
0.5741	31	1.3976	-	-
0.5926	32	1.3449	-	-
0.6111	33	1.3078	-	-
0.6296	34	1.2954	-	-
0.6481	35	1.2216	-	-
0.6667	36	1.15	-	-
0.6852	37	1.1438	-	-
0.7037	38	1.1094	-	-
0.7222	39	1.0956	-	-
0.7407	40	1.0417	-	-
0.7593	41	1.0168	-	-
0.7778	42	0.9877	-	-
0.7963	43	0.98	-	-
0.8148	44	0.9519	-	-
0.8333	45	0.9394	-	-
0.8519	46	0.9178	-	-
0.8704	47	0.8871	-	-
0.8889	48	0.8571	-	-
0.9074	49	0.8474	-	-
0.9259	50	0.8474	0.0262	0.9856
0.9444	51	0.8348	-	-
0.9630	52	0.8005	-	-
0.9815	53	0.7889	-	-
1.0	54	0.7706	-	-
1.0185	55	0.7546	-	-
1.0370	56	0.7205	-	-
1.0556	57	0.7285	-	-
1.0741	58	0.7147	-	-
1.0926	59	0.6896	-	-
1.1111	60	0.6798	-	-
1.1296	61	0.6816	-	-
1.1481	62	0.6665	-	-
1.1667	63	0.6676	-	-
1.1852	64	0.6518	-	-
1.2037	65	0.6523	-	-
1.2222	66	0.6249	-	-
1.2407	67	0.6133	-	-
1.2593	68	0.6274	-	-
1.2778	69	0.6034	-	-
1.2963	70	0.5967	-	-
1.3148	71	0.5882	-	-
1.3333	72	0.5757	-	-
1.3519	73	0.5616	-	-
1.3704	74	0.5584	-	-
1.3889	75	0.5554	0.0191	0.9775
1.4074	76	0.5543	-	-
1.4259	77	0.5404	-	-
1.4444	78	0.5539	-	-
1.4630	79	0.5371	-	-
1.4815	80	0.5338	-	-
1.5	81	0.5098	-	-
1.5185	82	0.5045	-	-
1.5370	83	0.5008	-	-
1.5556	84	0.4976	-	-
1.5741	85	0.4865	-	-
1.5926	86	0.4706	-	-
1.6111	87	0.465	-	-
1.6296	88	0.4729	-	-
1.6481	89	0.4575	-	-
1.6667	90	0.4516	-	-
1.6852	91	0.453	-	-
1.7037	92	0.4306	-	-
1.7222	93	0.434	-	-
1.7407	94	0.4321	-	-
1.7593	95	0.4227	-	-
1.7778	96	0.4186	-	-
1.7963	97	0.4022	-	-
1.8148	98	0.4057	-	-
1.8333	99	0.4018	-	-
1.8519	100	0.3852	0.0139	0.9753
1.8704	101	0.389	-	-
1.8889	102	0.3801	-	-
1.9074	103	0.3896	-	-
1.9259	104	0.3759	-	-
1.9444	105	0.3614	-	-
1.9630	106	0.3616	-	-
1.9815	107	0.3422	-	-
2.0	108	0.3516	-	-
2.0185	109	0.3507	-	-
2.0370	110	0.3387	-	-
2.0556	111	0.343	-	-
2.0741	112	0.3335	-	-
2.0926	113	0.3356	-	-
2.1111	114	0.3262	-	-
2.1296	115	0.3236	-	-
2.1481	116	0.3201	-	-
2.1667	117	0.3267	-	-
2.1852	118	0.3148	-	-
2.2037	119	0.3106	-	-
2.2222	120	0.3033	-	-
2.2407	121	0.3065	-	-
2.2593	122	0.3144	-	-
2.2778	123	0.3038	-	-
2.2963	124	0.2964	-	-
2.3148	125	0.2815	0.0107	0.9766
2.3333	126	0.2997	-	-
2.3519	127	0.2863	-	-
2.3704	128	0.2809	-	-
2.3889	129	0.2786	-	-
2.4074	130	0.2878	-	-
2.4259	131	0.2736	-	-
2.4444	132	0.2786	-	-
2.4630	133	0.2695	-	-
2.4815	134	0.2731	-	-
2.5	135	0.2721	-	-
2.5185	136	0.2681	-	-
2.5370	137	0.2689	-	-
2.5556	138	0.2545	-	-
2.5741	139	0.2617	-	-
2.5926	140	0.2633	-	-
2.6111	141	0.2523	-	-
2.6296	142	0.2518	-	-
2.6481	143	0.2576	-	-
2.6667	144	0.2596	-	-
2.6852	145	0.2537	-	-
2.7037	146	0.2542	-	-
2.7222	147	0.2476	-	-
2.7407	148	0.2397	-	-
2.7593	149	0.2448	-	-
2.7778	150	0.2431	0.0084	0.9791
2.7963	151	0.2408	-	-
2.8148	152	0.2394	-	-
2.8333	153	0.2317	-	-
2.8519	154	0.2367	-	-
2.8704	155	0.2375	-	-
2.8889	156	0.2351	-	-
2.9074	157	0.2448	-	-
2.9259	158	0.229	-	-
2.9444	159	0.2274	-	-
2.9630	160	0.2313	-	-
2.9815	161	0.2269	-	-
3.0	162	0.2298	-	-

Framework Versions

• Python: 3.11.10
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.4.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}