SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("comet24082002/ft_bge_newLaw_ContrastiveLoss_V1_5epochs")
# Run inference
sentences = [
    'Cục Xuất nhập khẩu thuộc phạm vi quản lý nhà nước của cơ quan nào?',
    'Vị trí và chức năng\n1. Cục Xuất nhập khẩu là tổ chức thuộc Bộ Công Thương, thực hiện chức năng tham mưu, giúp Bộ trưởng Bộ Công Thương quản lý nhà nước và tổ chức thực thi pháp luật trong lĩnh vực hoạt động xuất khẩu, nhập khẩu hàng hóa, xuất xứ hàng hóa, mua bán hàng hóa quốc tế, đại lý mua, bán, gia công và quá cảnh hàng hóa với nước ngoài, thuộc phạm vi quản lý nhà nước của Bộ Công Thương.\n2. Cục Xuất nhập khẩu có tư cách pháp nhân, con dấu và tài khoản riêng theo quy định của pháp luật; kinh phí hoạt động do ngân sách nhà nước cấp và từ các khoản thu phí, lệ phí theo quy định của Nhà nước.\nCục Xuất nhập khẩu có tên giao dịch quốc tế bằng tiếng Anh: Agency of Foreign Trade.\nTên viết tắt: AFT.\nTrụ sở chính tại thành phố Hà Nội.',
    '"Điều 112. Nghỉ lễ, tết\n1. Người lao động được nghỉ làm việc, hưởng nguyên lương trong những ngày lễ, tết sau đây:\na) Tết Dương lịch: 01 ngày (ngày 01 tháng 01 dương lịch);\nb) Tết Âm lịch: 05 ngày;\nc) Ngày Chiến thắng: 01 ngày (ngày 30 tháng 4 dương lịch);\nd) Ngày Quốc tế lao động: 01 ngày (ngày 01 tháng 5 dương lịch);\nđ) Quốc khánh: 02 ngày (ngày 02 tháng 9 dương lịch và 01 ngày liền kề trước hoặc sau);\ne) Ngày Giỗ Tổ Hùng Vương: 01 ngày (ngày 10 tháng 3 âm lịch).\n2. Lao động là người nước ngoài làm việc tại Việt Nam ngoài các ngày nghỉ theo quy định tại khoản 1 Điều này còn được nghỉ thêm 01 ngày Tết cổ truyền dân tộc và 01 ngày Quốc khánh của nước họ.\n3. Hằng năm, căn cứ vào điều kiện thực tế, Thủ tướng Chính phủ quyết định cụ thể ngày nghỉ quy định tại điểm b và điểm đ khoản 1 Điều này."',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 10,524 training samples
Columns: sentence1, sentence2, and label
Approximate statistics based on the first 1000 samples:
sentence1 sentence2 label
type string string int
details
min: 8 tokens
mean: 24.48 tokens
max: 46 tokens

min: 32 tokens
mean: 283.82 tokens
max: 512 tokens

0: ~50.00%
1: ~50.00%

	sentence1	sentence2	label
type	string	string	int
details	min: 8 tokens mean: 24.48 tokens max: 46 tokens	min: 32 tokens mean: 283.82 tokens max: 512 tokens	0: ~50.00% 1: ~50.00%

Samples:

sentence1	sentence2	label
`Hồ sơ đề nghị xét cấp lại giấy phép lái xe quá hạn gồm những gì?`	"Điều 36. Cấp lại giấy phép lái xe 1. Người có giấy phép lái xe quá thời hạn sử dụng a) Từ 03 tháng đến dưới 01 năm, kể từ ngày hết hạn, phải sát hạch lại lý thuyết để cấp lại giấy phép lái xe; b) Từ 01 năm trở lên, kể từ ngày hết hạn, phải sát hạch lại cả lý thuyết và thực hành để cấp lại giấy phép lái xe. Hồ sơ dự sát hạch lại thực hiện theo quy định tại khoản 3 Điều 19 của Thông tư này. 2. Người có giấy phép lái xe bị mất, còn thời hạn sử dụng hoặc quá thời hạn sử dụng dưới 03 tháng, được xét cấp lại giấy phép lái xe. Hồ sơ bao gồm: a) Đơn đề nghị cấp lại giấy phép lái xe theo mẫu quy định tại Phụ lục 19 ban hành kèm theo Thông tư này; b) Hồ sơ gốc phù hợp với giấy phép lái xe (nếu có); c) Giấy khám sức khỏe của người lái xe do cơ sở y tế có thẩm quyền cấp theo quy định, trừ trường hợp cấp lại giấy phép lái xe không thời hạn các hạng A1, A2, A3; d) Bản sao giấy chứng minh nhân dân hoặc thẻ căn cước công dân hoặc hộ chiếu còn thời hạn có ghi số giấy chứng minh nhân dân hoặc thẻ căn cước công dân (đối với người Việt Nam) hoặc hộ chiếu còn thời hạn sử dụng (đối với người nước ngoài, người Việt Nam định, cư ở nước ngoài). Khi đến thực hiện thủ tục cấp lại giấy phép lái xe tại Tổng cục Đường bộ Việt Nam hoặc Sở Giao thông vận tải, người lái xe gửi 01 bộ hồ sơ, chụp ảnh trực tiếp và xuất trình, bản chính các hồ sơ nêu trên (trừ các bản chính đã gửi) để đối chiếu. Sau thời gian 02 tháng kể từ ngày nộp đủ hồ sơ, chụp ảnh và nộp lệ phí theo quy định, nếu không phát hiện giấy phép lái xe đang bị các cơ quan có thẩm quyền thu giữ, xử lý; có tên trong hồ sơ của cơ quan quản lý sát hạch, thì được cấp lại giấy phép lái xe. 3. Người có giấy phép lái xe bị mất, quá thời hạn sử dụng từ 03 tháng trở lên, có tên trong hồ sơ của cơ quan quản lý sát hạch, không thuộc trường hợp đang bị các cơ quan có thẩm quyền thu giữ, xử lý, sau 02 tháng kể từ ngày nộp đủ hồ sơ hợp lệ theo quy định, phải dự sát hạch lại các nội dung: a) Quá hạn sử dụng từ 03 tháng đến dưới 01 năm, phải dự sát hạch lại lý thuyết; b) Quá hạn sử dụng từ 01 năm trở lên, phải sát hạch lại cả lý thuyết và thực hành. Hồ sơ dự sát hạch lại thực hiện theo quy định, tại khoản 4 Điều 19 của Thông tư này. 5. Ngày trúng tuyển ghi tại mặt sau giấy phép lái xe cấp lại (phục hồi), được tính theo ngày trúng tuyển của giấy phép lái xe cũ. 6. Thời gian cấp lại giấy phép lái xe thực hiện như đối với cấp mới. 7. Người dự sát hạch lại có nhu cầu ôn tập, đăng ký với các cơ sở đào tạo lái xe để được hướng dẫn ôn tập, phải nộp phí ôn tập theo quy định, không phải học lại theo chương trình đào tạo."	`1`
`Việc nhận xét và đánh giá đối với công chức cấp Trung ương luân chuyển được thực hiện khi nào?`	Cấp độ thành tích khen thưởng để xét nâng bậc lương trước thời hạn do lập thành tích xuất sắc: 1. Đối tượng quy định tại Khoản 1 Điều 1 Quy chế này được tặng thưởng một trong các hình thức dưới đây thì được xét nâng bậc lương trước thời hạn mười hai (12) tháng, gồm: a) Huân chương, huy chương, Vinh dự nhà nước, giải thưởng Hồ Chí Minh, giải nhà nước theo quy định của Luật Thi đua khen thưởng. b) Chiến sỹ thi đua toàn quốc. c) Bằng khen của Thủ tướng Chính phủ. d) Thẩm phán mẫu mực, Thẩm phán tiêu biểu, Thẩm phán giỏi. đ) Chiến sĩ thi đua Tòa án nhân dân. e) Chiến sĩ thi đua cấp tỉnh. g) Được tặng 02 bằng khen trở lên của Chánh án Tòa án nhân dân tối cao hoặc 01 bằng khen của Chánh án Tòa án nhân dân tối cao và 01 bằng khen của Bộ trưởng các Bộ, Ban, ngành Trung ương, Chủ tịch UBND tỉnh, thành phố trực thuộc Trung ương (đối với 02 thành tích khác nhau). 2. Đối tượng quy định tại Khoản 1 Điều 1 Quy chế này được tặng thưởng một trong các hình thức dưới đây thì được xét nâng bậc lương trước thời hạn chín (09) tháng, gồm: a) Bằng khen của Chánh án Tòa án nhân dân tối cao; b) Bằng khen của Bộ, Ban, ngành Trung ương, Chủ tịch UBND tỉnh, thành phố trực thuộc Trung ương. c) Ba (03) năm liên tiếp đạt danh hiệu Chiến sỹ thi đua cơ sở; 3. Đối tượng quy định tại Khoản 1 Điều 1 Quy chế này được tặng thưởng một trong các hình thức dưới đây thì được xét nâng bậc lương trước thời hạn sáu (06) tháng, gồm: a) Hai (02) năm liên tiếp đạt danh hiệu chiến sỹ thi đua cơ sở; b) Ba (03) năm liên tiếp được tặng giấy khen của Chánh án Tòa án nhân dân tối cao, Chánh án Tòa án nhân dân cấp cao, Chánh án Tòa án nhân dân cấp tỉnh.	`0`
`Người thực tập nghiệp vụ đăng kiểm viên xe cơ giới phải đáp ứng các điều kiện gì?`	`"Điều 3. Thực tập nghiệp vụ đăng kiểm viên xe cơ giới Người thực tập nghiệp vụ đăng kiểm viên xe cơ giới (sau đây gọi là đăng kiểm viên thực tập) đáp ứng các quy định tại điểm a và d khoản 1 Điều 14 của Nghị định số 139/2018/NĐ-CP được tập huấn lý thuyết nghiệp vụ và thực hành kiểm định xe cơ giới trong thời gian tối thiểu 12 tháng."`	`1`

Loss: ContrastiveLoss with these parameters:

{
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.5,
    "size_average": true
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 4
learning_rate: 2e-05
num_train_epochs: 5
warmup_ratio: 0.1

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs