SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: bkai-foundation-models/vietnamese-bi-encoder
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("anhtuansh/vietnamese-bi-encoder-Financial-Matryoshka")
# Run inference
sentences = [
    'thời hạn giải quyết việc gia hạn thời gian học tập cho lưu học sinh để hoàn thành khóa học như sau:Tối đa 20 ngày làm việc kể từ ngày nhận đủ hồ sơ hợp lệ.',
    'Tôi muốn hỏi về gia hạn thời gian học tập cho lưu học sinh để hoàn thành khóa học, có thời hạn giải quyết như thế nào?',
    'Thành phần hồ sơ giải quyết chế độ hỗ trợ đối với người Việt Nam có công với cách mạng quy định tại Nghị định số 102/2018/NĐ- CP ngày 20/7/2018 của Chính phủ về chế độ hỗ trợ và một số chế độ đãi ngộ khác đối với người Việt Nam có công với cách mạng, người tham gia kháng chiến, chiến tranh bảo vệ Tổ quốc và làm nhiệm vụ quốc tế đang định cư ở nước ngoài (Nghị định số 102/2018/NĐ-CP), bao gồm những giấy tờ gì?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5238
cosine_accuracy@3	0.6834
cosine_accuracy@5	0.746
cosine_accuracy@10	0.7989
cosine_precision@1	0.5238
cosine_precision@3	0.2278
cosine_precision@5	0.1492
cosine_precision@10	0.0799
cosine_recall@1	0.5238
cosine_recall@3	0.6834
cosine_recall@5	0.746
cosine_recall@10	0.7989
cosine_ndcg@10	0.6616
cosine_mrr@10	0.6174
cosine_map@100	0.6234

Information Retrieval

Dataset: dim_512
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5247
cosine_accuracy@3	0.6781
cosine_accuracy@5	0.7451
cosine_accuracy@10	0.7919
cosine_precision@1	0.5247
cosine_precision@3	0.226
cosine_precision@5	0.149
cosine_precision@10	0.0792
cosine_recall@1	0.5247
cosine_recall@3	0.6781
cosine_recall@5	0.7451
cosine_recall@10	0.7919
cosine_ndcg@10	0.657
cosine_mrr@10	0.6137
cosine_map@100	0.6201

Information Retrieval

Dataset: dim_256
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5265
cosine_accuracy@3	0.6658
cosine_accuracy@5	0.7346
cosine_accuracy@10	0.7857
cosine_precision@1	0.5265
cosine_precision@3	0.2219
cosine_precision@5	0.1469
cosine_precision@10	0.0786
cosine_recall@1	0.5265
cosine_recall@3	0.6658
cosine_recall@5	0.7346
cosine_recall@10	0.7857
cosine_ndcg@10	0.6532
cosine_mrr@10	0.6109
cosine_map@100	0.6171

Information Retrieval

Dataset: dim_128
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5053
cosine_accuracy@3	0.6481
cosine_accuracy@5	0.7169
cosine_accuracy@10	0.7795
cosine_precision@1	0.5053
cosine_precision@3	0.216
cosine_precision@5	0.1434
cosine_precision@10	0.078
cosine_recall@1	0.5053
cosine_recall@3	0.6481
cosine_recall@5	0.7169
cosine_recall@10	0.7795
cosine_ndcg@10	0.6386
cosine_mrr@10	0.5938
cosine_map@100	0.5999

Information Retrieval

Dataset: dim_64
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.478
cosine_accuracy@3	0.6287
cosine_accuracy@5	0.6984
cosine_accuracy@10	0.7628
cosine_precision@1	0.478
cosine_precision@3	0.2096
cosine_precision@5	0.1397
cosine_precision@10	0.0763
cosine_recall@1	0.478
cosine_recall@3	0.6287
cosine_recall@5	0.6984
cosine_recall@10	0.7628
cosine_ndcg@10	0.6166
cosine_mrr@10	0.5701
cosine_map@100	0.5766

Training Details

Training Dataset

Unnamed Dataset

Size: 10,200 training samples
Columns: positive and anchor
Approximate statistics based on the first 1000 samples:
positive anchor
type string string
details
min: 4 tokens
mean: 153.67 tokens
max: 256 tokens

min: 6 tokens
mean: 37.69 tokens
max: 256 tokens

	positive	anchor
type	string	string
details	min: 4 tokens mean: 153.67 tokens max: 256 tokens	min: 6 tokens mean: 37.69 tokens max: 256 tokens

Samples:

positive	anchor
1. Thẩm quyền cấp giấy phép tổ chức triển lãm, hội chợ xuất bản phẩm được quy định cụ thể như sau: - Bộ Thông tin và Truyền thông cấp giấy phép cho cơ quan, tổ chức ở trung ương; cơ quan, tổ chức, cá nhân nước ngoài;- Ủy ban nhân dân cấp tỉnh cấp giấy phép cho cơ quan, tổ chức, cá nhân có trụ sở hoặc cư trú tại địa phương; chi nhánh, văn phòng đại diện, đơn vị trực thuộc cơ quan, tổ chức ở trung ương đặt tại địa phương.2. Hồ sơ bao gồm: - Đơn đề nghị cấp giấy phép trong đó ghi rõ mục đích, thời gian, địa điểm và tên các đơn vị tham gia triển lãm, hội chợ;- Danh mục xuất bản phẩm để triển lãm, hội chợ theo mẫu quy định.(Quy định tại Khoản 2, 3 Điều 44 Luật Xuất bản)	`Hồ sơ và thẩm quyền cấp giấy phép tổ chức triển lãm, hội chợ xuất bản phẩm được quy định cụ thể như thế nào?`
- Trường hợp mất Danh mục và Phiếu theo dõi trừ lùi thì người khai hải quan có hồ sơ đề nghị cơ quan hải quan nơi cấp Danh mục lần đầu đề nghị cấp lại, bao gồm: + Công văn đề nghị cấp lại Danh mục, Phiếu theo dõi trừ lùi trong đó nêu rõ: lý do mất Danh mục, Phiếu theo dõi trừ lùi và cam kết của người khai hải quan về tính chính xác của nội dung khai báo; + Bảng kê toàn bộ tờ khai hải quan (điện tử hoặc giấy) của số lượng hàng hóa đã nhập khẩu theo danh mục; + Bản Danh mục và Phiếu theo dõi trừ lùi của cơ quan hải quan nơi làm thủ tục nhập khẩu lô hàng cuối cùng trước khi thất lạc (01 bản chụp có xác nhận của cơ quan hải quan nơi nhập khẩu). - Khi làm thủ tục hải quan, người khai hải quan nộp, xuất trình cho cơ quan hải quan nơi đăng ký tờ khai hải quan các hồ sơ sau: + Hồ sơ hải quan theo quy định hiện hành; + Danh mục hàng hóa và Phiếu theo dõi trừ lùi đã đăng ký với cơ quan hải quan (bản giao người khai hải quan) để cơ quan hải quan làm thủ tục thực hiện trừ lùi hàng hóa nhập khẩu.	`Trường hợp tôi làm mất Danh mục và Phiếu theo dõi trừ lùi hàng hóa nhập khẩu dung môi N-Hexan dùng trong sản xuất khô dầu đậu tương và dầu thực vật, cám gạo trích ly và dầu cám thì cần làm những thủ tục gì?`
`Thẩm quyền cấp Giấy chứng nhận cơ sở đủ điều kiện đăng kiểm tàu cá là: Tổng cục Thủy sản.`	`Thẩm quyền cấp Giấy chứng nhận cơ sở đủ điều kiện đăng kiểm tàu cá ?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Evaluation Dataset

Unnamed Dataset

Size: 1,134 evaluation samples
Columns: positive and anchor
Approximate statistics based on the first 1000 samples:
positive anchor
type string string
details
min: 4 tokens
mean: 155.4 tokens
max: 256 tokens

min: 6 tokens
mean: 37.17 tokens
max: 256 tokens

	positive	anchor
type	string	string
details	min: 4 tokens mean: 155.4 tokens max: 256 tokens	min: 6 tokens mean: 37.17 tokens max: 256 tokens

Samples:

positive	anchor
Việc thực hiện thủ tục tặng thưởng Bằng khen cấp Bộ, ban, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương về thành tích đột xuất được tiến hành như sau: Bước 1. Vụ, phòng, Ban Thi đua – Khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương tiếp nhận đề nghị khen thưởng của các đơn vị thực thuộc. Bước 2. Thẩm định hồ sơ, xin ý kiến các cơ quan liên quan, báo cáo Hội đồng thi đua khen thưởng cùng cấp, tổng hợp trình Bộ trưởng, thủ trưởng đơn vị, Chủ tịch UBND tỉnh, thành phố quyết định khen thưởng. Bước 3. Khi có Quyết định của Bộ trưởng, thủ trưởng đơn vị, Chủ tịch UBND tỉnh, thành phố trực thuộc Trung ương; Vụ, phòng, Ban Thi đua – khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương thông báo Quyết định, viết bằng, đóng dấu và cấp phát cho đơn vị trình khen. Bước 4. Các trường hợp không được khen thưởng (không đúng đối tượng, không đủ tiêu chuẩn, không đủ hồ sơ hoặc vi phạm pháp luật), Vụ, phòng, Ban Thi đua – khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương thông báo đến các đơn vị trình khen biết.	`Đề nghị cho biết trình tự thực hiện thủ tục tặng thưởng Bằng khen cấp Bộ, ban, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương về thành tích đột xuất`
Bông thủy tinh chống cháy là vật liệu chống cháy, thuộc danh mục phương tiện PCCC quy định Phụ lục V Nghị định số 79/2014/NĐ-CP ngày 31/7/2014 quy định chi tiết thi hành một số điều của Luật phòng cháy và chữa cháy và Luật sửa đổi, bổ sung một số điều của luật phòng cháy và chữa cháy. Do đó, nếu đưa vào sử dụng trong hạng mục PCCC của công trình thì phải kiểm định về PCCC. Tuy nhiên, đối với vật liệu bông thủy tinh cách nhiệt chống cháy được các cơ quan, tổ chức, cá nhân cần xem xét tùy vào yêu cầu cụ thể của công trình để đăng ký kiểm định “tính nguy hiểm cháy” đối với vật liệu đó hoặc “giới hạn chịu lửa” của kết cấu sử dụng vật liệu đó. Thành phần hồ sơ đề nghị kiểm định được quy định tại Điểm a Khoản 4 Điều 18 Thông tư 66/2014/TT-BCA ngày 16/12/2014 Quy định chi tiết thi hành một số điều của Nghị định số 79/2014/NĐ-CP ngày 31/7/2014 quy định chi tiết thi hành một số điều của Luật phòng cháy và chữa cháy và Luật sửa đổi, bổ sung một số điều của luật phòng cháy và chữa cháy, cụ thể bao gồm:- Đơn đề nghị kiểm định phương tiện (mẫu số PC17 ban hành kèm theo Thông tư số 66/2014/TT-BCA ngày 16/12/2014 của Bộ Công an);- Chứng nhận xuất xưởng.- Chứng nhận chất lượng.- Các tài liệu kỹ thuật của bông thủy tinh cách nhiệt chống cháy đề nghị kiểm định;	`Bông thủy tinh cách nhiệt chống cháy có phải kiểm định không? Thành phần hồ sơ đề nghị kiểm định như thế nào?`
`Thẻ thường trú không có thời hạn nhưng định kỳ 10 năm một lần, người nước ngoài thường trú phải đến nộp hồ sơ tại Phòng Quản lý xuất, nhập cảnh Công an tỉnh, thành phố trực thuộc Trung ương để đề nghị cấp đổi thẻ thường trú.`	`Thẻ thường trú có thời hạn không?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 2
per_device_eval_batch_size: 2
gradient_accumulation_steps: 2
learning_rate: 2e-05
num_train_epochs: 2
lr_scheduler_type: cosine
warmup_ratio: 0.1
fp16: True
tf32: False
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 2
per_device_eval_batch_size: 2
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 2
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 2
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: False
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	loss	dim_128_cosine_map@100	dim_256_cosine_map@100	dim_512_cosine_map@100	dim_64_cosine_map@100	dim_768_cosine_map@100
0.0039	10	0.3396	-	-	-	-	-	-
0.0078	20	0.6882	-	-	-	-	-	-
0.0118	30	0.6307	-	-	-	-	-	-
0.0157	40	0.8952	-	-	-	-	-	-
0.0196	50	0.2037	-	-	-	-	-	-
0.0235	60	0.5459	-	-	-	-	-	-
0.0275	70	0.3136	-	-	-	-	-	-
0.0314	80	0.7546	-	-	-	-	-	-
0.0353	90	0.0148	-	-	-	-	-	-
0.0392	100	0.6756	-	-	-	-	-	-
0.0431	110	0.8943	-	-	-	-	-	-
0.0471	120	0.7474	-	-	-	-	-	-
0.0510	130	0.1574	-	-	-	-	-	-
0.0549	140	0.5511	-	-	-	-	-	-
0.0588	150	0.0372	-	-	-	-	-	-
0.0627	160	0.6336	-	-	-	-	-	-
0.0667	170	1.132	-	-	-	-	-	-
0.0706	180	0.6303	-	-	-	-	-	-
0.0745	190	0.1245	-	-	-	-	-	-
0.0784	200	0.6711	-	-	-	-	-	-
0.0824	210	0.2811	-	-	-	-	-	-
0.0863	220	0.522	-	-	-	-	-	-
0.0902	230	0.0312	-	-	-	-	-	-
0.0941	240	0.5557	-	-	-	-	-	-
0.0980	250	0.084	-	-	-	-	-	-
0.1020	260	0.3716	-	-	-	-	-	-
0.1059	270	0.1187	-	-	-	-	-	-
0.1098	280	1.2872	-	-	-	-	-	-
0.1137	290	0.0362	-	-	-	-	-	-
0.1176	300	0.4163	-	-	-	-	-	-
0.1216	310	0.0101	-	-	-	-	-	-
0.1255	320	0.5686	-	-	-	-	-	-
0.1294	330	0.2448	-	-	-	-	-	-
0.1333	340	0.2329	-	-	-	-	-	-
0.1373	350	0.3119	-	-	-	-	-	-
0.1412	360	0.0167	-	-	-	-	-	-
0.1451	370	0.2482	-	-	-	-	-	-
0.1490	380	0.0887	-	-	-	-	-	-
0.1529	390	0.6644	-	-	-	-	-	-
0.1569	400	0.0572	-	-	-	-	-	-
0.1608	410	0.6239	-	-	-	-	-	-
0.1647	420	0.8892	-	-	-	-	-	-
0.1686	430	0.0182	-	-	-	-	-	-
0.1725	440	0.072	-	-	-	-	-	-
0.1765	450	0.023	-	-	-	-	-	-
0.1804	460	0.4117	-	-	-	-	-	-
0.1843	470	0.0689	-	-	-	-	-	-
0.1882	480	0.1337	-	-	-	-	-	-
0.1922	490	0.2742	-	-	-	-	-	-
0.1961	500	0.0038	-	-	-	-	-	-
0.2	510	0.4994	-	-	-	-	-	-
0.2039	520	0.0226	-	-	-	-	-	-
0.2078	530	0.0865	-	-	-	-	-	-
0.2118	540	0.0386	-	-	-	-	-	-
0.2157	550	0.0836	-	-	-	-	-	-
0.2196	560	0.4394	-	-	-	-	-	-
0.2235	570	0.2745	-	-	-	-	-	-
0.2275	580	0.0046	-	-	-	-	-	-
0.2314	590	0.0433	-	-	-	-	-	-
0.2353	600	0.2767	-	-	-	-	-	-
0.2392	610	0.8611	-	-	-	-	-	-
0.2431	620	0.0029	-	-	-	-	-	-
0.2471	630	0.1992	-	-	-	-	-	-
0.2510	640	0.116	-	-	-	-	-	-
0.2549	650	0.4985	-	-	-	-	-	-
0.2588	660	0.3053	-	-	-	-	-	-
0.2627	670	0.0084	-	-	-	-	-	-
0.2667	680	0.0156	-	-	-	-	-	-
0.2706	690	0.7467	-	-	-	-	-	-
0.2745	700	0.006	-	-	-	-	-	-
0.2784	710	0.0607	-	-	-	-	-	-
0.2824	720	0.0031	-	-	-	-	-	-
0.2863	730	0.2955	-	-	-	-	-	-
0.2902	740	0.2597	-	-	-	-	-	-
0.2941	750	0.0021	-	-	-	-	-	-
0.2980	760	0.0116	-	-	-	-	-	-
0.3020	770	0.3005	-	-	-	-	-	-
0.3059	780	0.3142	-	-	-	-	-	-
0.3098	790	0.0363	-	-	-	-	-	-
0.3137	800	0.0263	-	-	-	-	-	-
0.3176	810	0.0832	-	-	-	-	-	-
0.3216	820	0.0004	-	-	-	-	-	-
0.3255	830	0.0391	-	-	-	-	-	-
0.3294	840	0.4722	-	-	-	-	-	-
0.3333	850	0.0054	-	-	-	-	-	-
0.3373	860	0.1622	-	-	-	-	-	-
0.3412	870	0.0904	-	-	-	-	-	-
0.3451	880	0.1727	-	-	-	-	-	-
0.3490	890	0.0352	-	-	-	-	-	-
0.3529	900	0.0074	-	-	-	-	-	-
0.3569	910	0.054	-	-	-	-	-	-
0.3608	920	0.0922	-	-	-	-	-	-
0.3647	930	0.1067	-	-	-	-	-	-
0.3686	940	0.0683	-	-	-	-	-	-
0.3725	950	0.4656	-	-	-	-	-	-
0.3765	960	0.038	-	-	-	-	-	-
0.3804	970	0.1312	-	-	-	-	-	-
0.3843	980	0.2714	-	-	-	-	-	-
0.3882	990	0.0197	-	-	-	-	-	-
0.3922	1000	0.21	-	-	-	-	-	-
0.3961	1010	0.0871	-	-	-	-	-	-
0.4	1020	0.3741	-	-	-	-	-	-
0.4039	1030	0.0181	-	-	-	-	-	-
0.4078	1040	0.0191	-	-	-	-	-	-
0.4118	1050	0.7567	-	-	-	-	-	-
0.4157	1060	0.159	-	-	-	-	-	-
0.4196	1070	0.1752	-	-	-	-	-	-
0.4235	1080	0.0191	-	-	-	-	-	-
0.4275	1090	0.0328	-	-	-	-	-	-
0.4314	1100	0.2144	-	-	-	-	-	-
0.4353	1110	0.0268	-	-	-	-	-	-
0.4392	1120	0.3813	-	-	-	-	-	-
0.4431	1130	0.4766	-	-	-	-	-	-
0.4471	1140	0.0663	-	-	-	-	-	-
0.4510	1150	0.0144	-	-	-	-	-	-
0.4549	1160	0.0759	-	-	-	-	-	-
0.4588	1170	0.2779	-	-	-	-	-	-
0.4627	1180	0.2943	-	-	-	-	-	-
0.4667	1190	0.0017	-	-	-	-	-	-
0.4706	1200	0.0184	-	-	-	-	-	-
0.4745	1210	0.4471	-	-	-	-	-	-
0.4784	1220	0.0798	-	-	-	-	-	-
0.4824	1230	0.2868	-	-	-	-	-	-
0.4863	1240	0.01	-	-	-	-	-	-
0.4902	1250	0.0346	-	-	-	-	-	-
0.4941	1260	0.2673	-	-	-	-	-	-
0.4980	1270	0.3065	-	-	-	-	-	-
0.5020	1280	0.0683	-	-	-	-	-	-
0.5059	1290	0.2923	-	-	-	-	-	-
0.5098	1300	0.3592	-	-	-	-	-	-
0.5137	1310	0.2563	-	-	-	-	-	-
0.5176	1320	0.0315	-	-	-	-	-	-
0.5216	1330	0.0049	-	-	-	-	-	-
0.5255	1340	0.0766	-	-	-	-	-	-
0.5294	1350	0.0143	-	-	-	-	-	-
0.5333	1360	0.013	-	-	-	-	-	-
0.5373	1370	0.0037	-	-	-	-	-	-
0.5412	1380	0.0224	-	-	-	-	-	-
0.5451	1390	0.2682	-	-	-	-	-	-
0.5490	1400	0.0013	-	-	-	-	-	-
0.5529	1410	0.0859	-	-	-	-	-	-
0.5569	1420	0.0382	-	-	-	-	-	-
0.5608	1430	0.0425	-	-	-	-	-	-
0.5647	1440	0.0257	-	-	-	-	-	-
0.5686	1450	0.0545	-	-	-	-	-	-
0.5725	1460	0.0167	-	-	-	-	-	-
0.5765	1470	0.0283	-	-	-	-	-	-
0.5804	1480	0.0588	-	-	-	-	-	-
0.5843	1490	0.0161	-	-	-	-	-	-
0.5882	1500	0.0633	-	-	-	-	-	-
0.5922	1510	0.4425	-	-	-	-	-	-
0.5961	1520	0.0391	-	-	-	-	-	-
0.6	1530	0.0007	-	-	-	-	-	-
0.6039	1540	0.6641	-	-	-	-	-	-
0.6078	1550	0.2285	-	-	-	-	-	-
0.6118	1560	0.0185	-	-	-	-	-	-
0.6157	1570	0.0144	-	-	-	-	-	-
0.6196	1580	0.0626	-	-	-	-	-	-
0.6235	1590	0.0358	-	-	-	-	-	-
0.6275	1600	0.0019	-	-	-	-	-	-
0.6314	1610	0.0129	-	-	-	-	-	-
0.6353	1620	0.0386	-	-	-	-	-	-
0.6392	1630	0.3626	-	-	-	-	-	-
0.6431	1640	0.1427	-	-	-	-	-	-
0.6471	1650	0.1781	-	-	-	-	-	-
0.6510	1660	0.048	-	-	-	-	-	-
0.6549	1670	0.0172	-	-	-	-	-	-
0.6588	1680	0.0079	-	-	-	-	-	-
0.6627	1690	0.0002	-	-	-	-	-	-
0.6667	1700	0.3644	-	-	-	-	-	-
0.6706	1710	0.627	-	-	-	-	-	-
0.6745	1720	0.0439	-	-	-	-	-	-
0.6784	1730	0.0116	-	-	-	-	-	-
0.6824	1740	0.3933	-	-	-	-	-	-
0.6863	1750	0.7118	-	-	-	-	-	-
0.6902	1760	0.1746	-	-	-	-	-	-
0.6941	1770	0.1272	-	-	-	-	-	-
0.6980	1780	0.3281	-	-	-	-	-	-
0.7020	1790	0.1582	-	-	-	-	-	-
0.7059	1800	0.2731	-	-	-	-	-	-
0.7098	1810	0.3034	-	-	-	-	-	-
0.7137	1820	0.0662	-	-	-	-	-	-
0.7176	1830	0.0078	-	-	-	-	-	-
0.7216	1840	0.0035	-	-	-	-	-	-
0.7255	1850	1.0808	-	-	-	-	-	-
0.7294	1860	0.0029	-	-	-	-	-	-
0.7333	1870	0.0049	-	-	-	-	-	-
0.7373	1880	0.0572	-	-	-	-	-	-
0.7412	1890	0.1218	-	-	-	-	-	-
0.7451	1900	0.0001	-	-	-	-	-	-
0.7490	1910	0.0529	-	-	-	-	-	-
0.7529	1920	0.009	-	-	-	-	-	-
0.7569	1930	0.3819	-	-	-	-	-	-
0.7608	1940	0.0084	-	-	-	-	-	-
0.7647	1950	0.0242	-	-	-	-	-	-
0.7686	1960	0.0056	-	-	-	-	-	-
0.7725	1970	0.0162	-	-	-	-	-	-
0.7765	1980	0.0431	-	-	-	-	-	-
0.7804	1990	0.0188	-	-	-	-	-	-
0.7843	2000	0.0058	-	-	-	-	-	-
0.7882	2010	0.425	-	-	-	-	-	-
0.7922	2020	0.009	-	-	-	-	-	-
0.7961	2030	0.619	-	-	-	-	-	-
0.8	2040	0.7128	-	-	-	-	-	-
0.8039	2050	0.0022	-	-	-	-	-	-
0.8078	2060	0.0095	-	-	-	-	-	-
0.8118	2070	0.0123	-	-	-	-	-	-
0.8157	2080	0.0013	-	-	-	-	-	-
0.8196	2090	0.1557	-	-	-	-	-	-
0.8235	2100	0.0629	-	-	-	-	-	-
0.8275	2110	0.0033	-	-	-	-	-	-
0.8314	2120	0.037	-	-	-	-	-	-
0.8353	2130	0.011	-	-	-	-	-	-
0.8392	2140	0.6761	-	-	-	-	-	-
0.8431	2150	0.0051	-	-	-	-	-	-
0.8471	2160	0.0201	-	-	-	-	-	-
0.8510	2170	0.1053	-	-	-	-	-	-
0.8549	2180	0.0054	-	-	-	-	-	-
0.8588	2190	0.1033	-	-	-	-	-	-
0.8627	2200	0.0436	-	-	-	-	-	-
0.8667	2210	0.0386	-	-	-	-	-	-
0.8706	2220	0.1732	-	-	-	-	-	-
0.8745	2230	0.2371	-	-	-	-	-	-
0.8784	2240	0.026	-	-	-	-	-	-
0.8824	2250	0.0084	-	-	-	-	-	-
0.8863	2260	0.2233	-	-	-	-	-	-
0.8902	2270	0.0068	-	-	-	-	-	-
0.8941	2280	0.266	-	-	-	-	-	-
0.8980	2290	0.0061	-	-	-	-	-	-
0.9020	2300	0.092	-	-	-	-	-	-
0.9059	2310	0.4521	-	-	-	-	-	-
0.9098	2320	0.1647	-	-	-	-	-	-
0.9137	2330	0.1101	-	-	-	-	-	-
0.9176	2340	0.0259	-	-	-	-	-	-
0.9216	2350	0.2363	-	-	-	-	-	-
0.9255	2360	0.358	-	-	-	-	-	-
0.9294	2370	0.0037	-	-	-	-	-	-
0.9333	2380	0.2897	-	-	-	-	-	-
0.9373	2390	0.2985	-	-	-	-	-	-
0.9412	2400	0.0141	-	-	-	-	-	-
0.9451	2410	0.0233	-	-	-	-	-	-
0.9490	2420	0.0672	-	-	-	-	-	-
0.9529	2430	0.0003	-	-	-	-	-	-
0.9569	2440	0.0011	-	-	-	-	-	-
0.9608	2450	0.0609	-	-	-	-	-	-
0.9647	2460	0.0468	-	-	-	-	-	-
0.9686	2470	0.0005	-	-	-	-	-	-
0.9725	2480	0.0069	-	-	-	-	-	-
0.9765	2490	0.0561	-	-	-	-	-	-
0.9804	2500	0.2674	-	-	-	-	-	-
0.9843	2510	0.2024	-	-	-	-	-	-
0.9882	2520	0.0221	-	-	-	-	-	-
0.9922	2530	0.0171	-	-	-	-	-	-
0.9961	2540	0.1319	-	-	-	-	-	-
1.0	2550	0.0078	0.0739	0.5708	0.5941	0.6055	0.5373	0.6064
1.0039	2560	0.0125	-	-	-	-	-	-
1.0078	2570	0.2353	-	-	-	-	-	-
1.0118	2580	0.0398	-	-	-	-	-	-
1.0157	2590	0.0303	-	-	-	-	-	-
1.0196	2600	0.0168	-	-	-	-	-	-
1.0235	2610	0.0006	-	-	-	-	-	-
1.0275	2620	0.0004	-	-	-	-	-	-
1.0314	2630	0.4641	-	-	-	-	-	-
1.0353	2640	0.0001	-	-	-	-	-	-
1.0392	2650	0.132	-	-	-	-	-	-
1.0431	2660	0.001	-	-	-	-	-	-
1.0471	2670	0.6171	-	-	-	-	-	-
1.0510	2680	0.0305	-	-	-	-	-	-
1.0549	2690	0.1392	-	-	-	-	-	-
1.0588	2700	0.0348	-	-	-	-	-	-
1.0627	2710	0.0339	-	-	-	-	-	-
1.0667	2720	0.0065	-	-	-	-	-	-
1.0706	2730	0.2032	-	-	-	-	-	-
1.0745	2740	0.0001	-	-	-	-	-	-
1.0784	2750	0.3332	-	-	-	-	-	-
1.0824	2760	0.0308	-	-	-	-	-	-
1.0863	2770	0.3364	-	-	-	-	-	-
1.0902	2780	0.0002	-	-	-	-	-	-
1.0941	2790	0.0006	-	-	-	-	-	-
1.0980	2800	0.0001	-	-	-	-	-	-
1.1020	2810	0.0006	-	-	-	-	-	-
1.1059	2820	0.01	-	-	-	-	-	-
1.1098	2830	0.5723	-	-	-	-	-	-
1.1137	2840	0.0029	-	-	-	-	-	-
1.1176	2850	0.0087	-	-	-	-	-	-
1.1216	2860	0.0003	-	-	-	-	-	-
1.1255	2870	0.043	-	-	-	-	-	-
1.1294	2880	0.0006	-	-	-	-	-	-
1.1333	2890	0.0155	-	-	-	-	-	-
1.1373	2900	0.0081	-	-	-	-	-	-
1.1412	2910	0.0001	-	-	-	-	-	-
1.1451	2920	0.0303	-	-	-	-	-	-
1.1490	2930	0.0045	-	-	-	-	-	-
1.1529	2940	0.0006	-	-	-	-	-	-
1.1569	2950	0.0006	-	-	-	-	-	-
1.1608	2960	0.0434	-	-	-	-	-	-
1.1647	2970	0.029	-	-	-	-	-	-
1.1686	2980	0.0004	-	-	-	-	-	-
1.1725	2990	0.0039	-	-	-	-	-	-
1.1765	3000	0.0003	-	-	-	-	-	-
1.1804	3010	0.2161	-	-	-	-	-	-
1.1843	3020	0.0001	-	-	-	-	-	-
1.1882	3030	0.0022	-	-	-	-	-	-
1.1922	3040	0.0005	-	-	-	-	-	-
1.1961	3050	0.0008	-	-	-	-	-	-
1.2	3060	0.0928	-	-	-	-	-	-
1.2039	3070	0.0003	-	-	-	-	-	-
1.2078	3080	0.0007	-	-	-	-	-	-
1.2118	3090	0.0013	-	-	-	-	-	-
1.2157	3100	0.0009	-	-	-	-	-	-
1.2196	3110	0.0758	-	-	-	-	-	-
1.2235	3120	0.0002	-	-	-	-	-	-
1.2275	3130	0.0002	-	-	-	-	-	-
1.2314	3140	0.0002	-	-	-	-	-	-
1.2353	3150	0.0165	-	-	-	-	-	-
1.2392	3160	0.0053	-	-	-	-	-	-
1.2431	3170	0.0084	-	-	-	-	-	-
1.2471	3180	0.0006	-	-	-	-	-	-
1.2510	3190	0.0513	-	-	-	-	-	-
1.2549	3200	0.0011	-	-	-	-	-	-
1.2588	3210	0.0043	-	-	-	-	-	-
1.2627	3220	0.0	-	-	-	-	-	-
1.2667	3230	0.0006	-	-	-	-	-	-
1.2706	3240	0.0012	-	-	-	-	-	-
1.2745	3250	0.0025	-	-	-	-	-	-
1.2784	3260	0.0003	-	-	-	-	-	-
1.2824	3270	0.0003	-	-	-	-	-	-
1.2863	3280	0.0033	-	-	-	-	-	-
1.2902	3290	0.002	-	-	-	-	-	-
1.2941	3300	0.0	-	-	-	-	-	-
1.2980	3310	0.004	-	-	-	-	-	-
1.3020	3320	0.0002	-	-	-	-	-	-
1.3059	3330	0.0071	-	-	-	-	-	-
1.3098	3340	0.0001	-	-	-	-	-	-
1.3137	3350	0.0006	-	-	-	-	-	-
1.3176	3360	0.0012	-	-	-	-	-	-
1.3216	3370	0.0	-	-	-	-	-	-
1.3255	3380	0.0055	-	-	-	-	-	-
1.3294	3390	0.0005	-	-	-	-	-	-
1.3333	3400	0.0	-	-	-	-	-	-
1.3373	3410	0.0001	-	-	-	-	-	-
1.3412	3420	0.001	-	-	-	-	-	-
1.3451	3430	0.0033	-	-	-	-	-	-
1.3490	3440	0.001	-	-	-	-	-	-
1.3529	3450	0.0	-	-	-	-	-	-
1.3569	3460	0.0007	-	-	-	-	-	-
1.3608	3470	0.0	-	-	-	-	-	-
1.3647	3480	0.0024	-	-	-	-	-	-
1.3686	3490	0.0001	-	-	-	-	-	-
1.3725	3500	0.025	-	-	-	-	-	-
1.3765	3510	0.0028	-	-	-	-	-	-
1.3804	3520	0.004	-	-	-	-	-	-
1.3843	3530	0.0	-	-	-	-	-	-
1.3882	3540	0.2503	-	-	-	-	-	-
1.3922	3550	0.0004	-	-	-	-	-	-
1.3961	3560	0.0001	-	-	-	-	-	-
1.4	3570	0.0002	-	-	-	-	-	-
1.4039	3580	0.0003	-	-	-	-	-	-
1.4078	3590	0.0008	-	-	-	-	-	-
1.4118	3600	0.0016	-	-	-	-	-	-
1.4157	3610	0.0007	-	-	-	-	-	-
1.4196	3620	0.0009	-	-	-	-	-	-
1.4235	3630	0.0	-	-	-	-	-	-
1.4275	3640	0.0	-	-	-	-	-	-
1.4314	3650	0.0001	-	-	-	-	-	-
1.4353	3660	0.0002	-	-	-	-	-	-
1.4392	3670	0.0005	-	-	-	-	-	-
1.4431	3680	0.0003	-	-	-	-	-	-
1.4471	3690	0.0003	-	-	-	-	-	-
1.4510	3700	0.0011	-	-	-	-	-	-
1.4549	3710	0.001	-	-	-	-	-	-
1.4588	3720	0.0005	-	-	-	-	-	-
1.4627	3730	0.0022	-	-	-	-	-	-
1.4667	3740	0.0	-	-	-	-	-	-
1.4706	3750	0.0007	-	-	-	-	-	-
1.4745	3760	0.0016	-	-	-	-	-	-
1.4784	3770	0.0086	-	-	-	-	-	-
1.4824	3780	0.0824	-	-	-	-	-	-
1.4863	3790	0.0001	-	-	-	-	-	-
1.4902	3800	0.0084	-	-	-	-	-	-
1.4941	3810	0.0001	-	-	-	-	-	-
1.4980	3820	0.0037	-	-	-	-	-	-
1.5020	3830	0.0	-	-	-	-	-	-
1.5059	3840	0.0	-	-	-	-	-	-
1.5098	3850	0.1319	-	-	-	-	-	-
1.5137	3860	0.0013	-	-	-	-	-	-
1.5176	3870	0.0004	-	-	-	-	-	-
1.5216	3880	0.0001	-	-	-	-	-	-
1.5255	3890	0.0071	-	-	-	-	-	-
1.5294	3900	0.0013	-	-	-	-	-	-
1.5333	3910	0.0001	-	-	-	-	-	-
1.5373	3920	0.0002	-	-	-	-	-	-
1.5412	3930	0.0	-	-	-	-	-	-
1.5451	3940	0.0038	-	-	-	-	-	-
1.5490	3950	0.0	-	-	-	-	-	-
1.5529	3960	0.0023	-	-	-	-	-	-
1.5569	3970	0.0005	-	-	-	-	-	-
1.5608	3980	0.0037	-	-	-	-	-	-
1.5647	3990	0.0001	-	-	-	-	-	-
1.5686	4000	0.0004	-	-	-	-	-	-
1.5725	4010	0.0009	-	-	-	-	-	-
1.5765	4020	0.0468	-	-	-	-	-	-
1.5804	4030	0.013	-	-	-	-	-	-
1.5843	4040	0.0015	-	-	-	-	-	-
1.5882	4050	0.0	-	-	-	-	-	-
1.5922	4060	0.0012	-	-	-	-	-	-
1.5961	4070	0.0	-	-	-	-	-	-
1.6	4080	0.0	-	-	-	-	-	-
1.6039	4090	0.0012	-	-	-	-	-	-
1.6078	4100	0.1019	-	-	-	-	-	-
1.6118	4110	0.0004	-	-	-	-	-	-
1.6157	4120	0.0006	-	-	-	-	-	-
1.6196	4130	0.0	-	-	-	-	-	-
1.6235	4140	0.0008	-	-	-	-	-	-
1.6275	4150	0.0	-	-	-	-	-	-
1.6314	4160	0.0	-	-	-	-	-	-
1.6353	4170	0.0004	-	-	-	-	-	-
1.6392	4180	0.0028	-	-	-	-	-	-
1.6431	4190	0.0007	-	-	-	-	-	-
1.6471	4200	0.0001	-	-	-	-	-	-
1.6510	4210	0.0007	-	-	-	-	-	-
1.6549	4220	0.0	-	-	-	-	-	-
1.6588	4230	0.0001	-	-	-	-	-	-
1.6627	4240	0.0002	-	-	-	-	-	-
1.6667	4250	0.0123	-	-	-	-	-	-
1.6706	4260	0.0077	-	-	-	-	-	-
1.6745	4270	0.0001	-	-	-	-	-	-
1.6784	4280	0.0004	-	-	-	-	-	-
1.6824	4290	0.0169	-	-	-	-	-	-
1.6863	4300	0.0001	-	-	-	-	-	-
1.6902	4310	0.0014	-	-	-	-	-	-
1.6941	4320	0.0001	-	-	-	-	-	-
1.6980	4330	0.001	-	-	-	-	-	-
1.7020	4340	0.0017	-	-	-	-	-	-
1.7059	4350	0.001	-	-	-	-	-	-
1.7098	4360	0.0003	-	-	-	-	-	-
1.7137	4370	0.0001	-	-	-	-	-	-
1.7176	4380	0.0017	-	-	-	-	-	-
1.7216	4390	0.0001	-	-	-	-	-	-
1.7255	4400	0.0008	-	-	-	-	-	-
1.7294	4410	0.0003	-	-	-	-	-	-
1.7333	4420	0.0003	-	-	-	-	-	-
1.7373	4430	0.0	-	-	-	-	-	-
1.7412	4440	0.0005	-	-	-	-	-	-
1.7451	4450	0.0	-	-	-	-	-	-
1.7490	4460	0.0057	-	-	-	-	-	-
1.7529	4470	0.0001	-	-	-	-	-	-
1.7569	4480	0.0003	-	-	-	-	-	-
1.7608	4490	0.0	-	-	-	-	-	-
1.7647	4500	0.0021	-	-	-	-	-	-
1.7686	4510	0.0002	-	-	-	-	-	-
1.7725	4520	0.0016	-	-	-	-	-	-
1.7765	4530	0.0003	-	-	-	-	-	-
1.7804	4540	0.0001	-	-	-	-	-	-
1.7843	4550	0.0002	-	-	-	-	-	-
1.7882	4560	0.0007	-	-	-	-	-	-
1.7922	4570	0.0001	-	-	-	-	-	-
1.7961	4580	0.0736	-	-	-	-	-	-
1.8	4590	0.0341	-	-	-	-	-	-
1.8039	4600	0.0	-	-	-	-	-	-
1.8078	4610	0.0002	-	-	-	-	-	-
1.8118	4620	0.0001	-	-	-	-	-	-
1.8157	4630	0.0001	-	-	-	-	-	-
1.8196	4640	0.001	-	-	-	-	-	-
1.8235	4650	0.0018	-	-	-	-	-	-
1.8275	4660	0.0	-	-	-	-	-	-
1.8314	4670	0.0003	-	-	-	-	-	-
1.8353	4680	0.0004	-	-	-	-	-	-
1.8392	4690	0.0002	-	-	-	-	-	-
1.8431	4700	0.0001	-	-	-	-	-	-
1.8471	4710	0.0	-	-	-	-	-	-
1.8510	4720	0.0	-	-	-	-	-	-
1.8549	4730	0.0001	-	-	-	-	-	-
1.8588	4740	0.0034	-	-	-	-	-	-
1.8627	4750	0.0	-	-	-	-	-	-
1.8667	4760	0.0001	-	-	-	-	-	-
1.8706	4770	0.0042	-	-	-	-	-	-
1.8745	4780	0.0019	-	-	-	-	-	-
1.8784	4790	0.0008	-	-	-	-	-	-
1.8824	4800	0.0003	-	-	-	-	-	-
1.8863	4810	0.0002	-	-	-	-	-	-
1.8902	4820	0.0	-	-	-	-	-	-
1.8941	4830	0.0914	-	-	-	-	-	-
1.8980	4840	0.0	-	-	-	-	-	-
1.9020	4850	0.0035	-	-	-	-	-	-
1.9059	4860	0.0018	-	-	-	-	-	-
1.9098	4870	0.0001	-	-	-	-	-	-
1.9137	4880	0.0003	-	-	-	-	-	-
1.9176	4890	0.0005	-	-	-	-	-	-
1.9216	4900	0.018	-	-	-	-	-	-
1.9255	4910	0.0524	-	-	-	-	-	-
1.9294	4920	0.0001	-	-	-	-	-	-
1.9333	4930	0.0107	-	-	-	-	-	-
1.9373	4940	0.0895	-	-	-	-	-	-
1.9412	4950	0.0002	-	-	-	-	-	-
1.9451	4960	0.0	-	-	-	-	-	-
1.9490	4970	0.0002	-	-	-	-	-	-
1.9529	4980	0.0001	-	-	-	-	-	-
1.9569	4990	0.0	-	-	-	-	-	-
1.9608	5000	0.0001	-	-	-	-	-	-
1.9647	5010	0.0101	-	-	-	-	-	-
1.9686	5020	0.0	-	-	-	-	-	-
1.9725	5030	0.0001	-	-	-	-	-	-
1.9765	5040	0.0001	-	-	-	-	-	-
1.9804	5050	0.3165	-	-	-	-	-	-
1.9843	5060	0.0068	-	-	-	-	-	-
1.9882	5070	0.0003	-	-	-	-	-	-
1.9922	5080	0.0001	-	-	-	-	-	-
1.9961	5090	0.0022	-	-	-	-	-	-
2.0	5100	0.0	0.0734	0.5999	0.6171	0.6201	0.5766	0.6234

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.13
Sentence Transformers: 3.0.1
Transformers: 4.41.2
PyTorch: 2.1.2
Accelerate: 0.29.3
Datasets: 2.19.1
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

anhtuansh
/

vietnamese-bi-encoder-Financial-Matryoshka

SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Information Retrieval

Training Details

Training Dataset

Unnamed Dataset

Evaluation Dataset

Unnamed Dataset

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss

Model tree for anhtuansh/vietnamese-bi-encoder-Financial-Matryoshka

Evaluation results