SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("comet24082002/ft_bge_newLaw_MultipleNegativeRankingLoss_V1_5epochs")
# Run inference
sentences = [
    'Cơ quan có thẩm quyền giải quyết ly hôn theo quy định của pháp luật',
    '"Điều 39. Thẩm quyền của Tòa án theo lãnh thổ 1. Thẩm quyền giải quyết vụ án dân sự của Tòa án theo lãnh thổ được xác định như sau: a) Tòa án nơi bị đơn cư trú, làm việc, nếu bị đơn là cá nhân hoặc nơi bị đơn có trụ sở, nếu bị đơn là cơ quan, tổ chức có thẩm quyền giải quyết theo thủ tục sơ thẩm những tranh chấp về dân sự, hôn nhân và gia đình, kinh doanh, thương mại, lao động quy định tại các Điều 26, 28, 30 và 32 của Bộ luật này; b) Các đương sự có quyền tự thỏa thuận với nhau bằng văn bản yêu cầu Tòa án nơi cư trú, làm việc của nguyên đơn, nếu nguyên đơn là cá nhân hoặc nơi có trụ sở của nguyên đơn, nếu nguyên đơn là cơ quan, tổ chức giải quyết những tranh chấp về dân sự, hôn nhân và gia đình, kinh doanh, thương mại, lao động quy định tại các điều 26, 28, 30 và 32 của Bộ luật này; c) Đối tượng tranh chấp là bất động sản thì chỉ Tòa án nơi có bất động sản có thẩm quyền giải quyết. 2. Thẩm quyền giải quyết việc dân sự của Tòa án theo lãnh thổ được xác định như sau: a) Tòa án nơi người bị yêu cầu tuyên bố mất năng lực hành vi dân sự, bị hạn chế năng lực hành vi dân sự hoặc có khó khăn trong nhận thức, làm chủ hành vi cư trú, làm việc có thẩm quyền giải quyết yêu cầu tuyên bố một người mất năng lực hành vi dân sự, bị hạn chế năng lực hành vi dân sự hoặc có khó khăn trong nhận thức, làm chủ hành vi; b) Tòa án nơi người bị yêu cầu thông báo tìm kiếm vắng mặt tại nơi cư trú, bị yêu cầu tuyên bố mất tích hoặc là đã chết có nơi cư trú cuối cùng có thẩm quyền giải quyết yêu cầu thông báo tìm kiếm người vắng mặt tại nơi cư trú và quản lý tài sản của người đó, yêu cầu tuyên bố một người mất tích hoặc là đã chết; c) Tòa án nơi người yêu cầu hủy bỏ quyết định tuyên bố một người mất năng lực hành vi dân sự, bị hạn chế năng lực hành vi dân sự hoặc có khó khăn trong nhận thức, làm chủ hành vi cư trú, làm việc có thẩm quyền hủy bỏ quyết định tuyên bố một người mất năng lực hành vi dân sự, bị hạn chế năng lực hành vi dân sự hoặc có khó khăn trong nhận thức, làm chủ hành vi. Tòa án đã ra quyết định tuyên bố một người mất tích hoặc là đã chết có thẩm quyền giải quyết yêu cầu hủy bỏ quyết định tuyên bố một người mất tích hoặc là đã chết;"',
    '"Điều 14. Lấn, chiếm đất 1. Trường hợp lấn, chiếm đất chưa sử dụng tại khu vực nông thôn thì hình thức và mức xử phạt như sau: a) Phạt tiền từ 2.000.000 đồng đến 3.000.000 đồng đối với diện tích đất lấn, chiếm dưới 0,05 héc ta; b) Phạt tiền từ 3.000.000 đồng đến 5.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,05 héc ta đến dưới 0,1 héc ta; c) Phạt tiền từ 5.000.000 đồng đến 15.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,1 héc ta đến dưới 0,5 héc ta; d) Phạt tiền từ 15.000.000 đồng đến 30.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,5 héc ta đến dưới 01 héc ta; đ) Phạt tiền từ 30.000.000 đồng đến 70.000.000 đồng đối với diện tích đất lấn, chiếm từ 01 héc ta trở lên. 2. Trường hợp lấn, chiếm đất nông nghiệp không phải là đất trồng lúa, đất rừng đặc dụng, đất rừng phòng hộ, đất rừng sản xuất tại khu vực nông thôn thì hình thức và mức xử phạt như sau: a) Phạt tiền từ 3.000.000 đồng đến 5.000.000 đồng đối với diện tích đất lấn, chiếm dưới 0,05 héc ta; b) Phạt tiền từ 5.000.000 đồng đến 10.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,05 héc ta đến dưới 0,1 héc ta; c) Phạt tiền từ 10.000.000 đồng đến 30.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,1 héc ta đến dưới 0,5 héc ta; d) Phạt tiền từ 30.000.000 đồng đến 50.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,5 héc ta đến dưới 01 héc ta; đ) Phạt tiền từ 50.000.000 đồng đến 120.000.000 đồng đối với diện tích đất lấn, chiếm từ 01 héc ta trở lên. 3. Trường hợp lấn, chiếm đất nông nghiệp là đất trồng lúa, đất rừng đặc dụng, đất rừng phòng hộ, đất rừng sản xuất tại khu vực nông thôn, thì hình thức và mức xử phạt như sau: a) Phạt tiền từ 3.000.000 đồng đến 5.000.000 đồng đối với diện tích đất lấn, chiếm dưới 0,02 héc ta; b) Phạt tiền từ 5.000.000 đồng đến 7.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,02 héc ta đến dưới 0,05 héc ta; c) Phạt tiền từ 7.000.000 đồng đến 15.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,05 héc ta đến dưới 0,1 héc ta; d) Phạt tiền từ 15.000.000 đồng đến 40.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,1 héc ta đến dưới 0,5 héc ta; đ) Phạt tiền từ 40.000.000 đồng đến 60.000.000 đồng đối với diện tích đất lấn, chiếm từ 0,5 héc ta đến dưới 01 héc ta; e) Phạt tiền từ 60.000.000 đồng đến 150.000.000 đồng đối với diện tích đất lấn, chiếm từ 01 héc ta trở lên. 4. Trường hợp lấn, chiếm đất phi nông nghiệp, trừ trường hợp quy định tại khoản 6 Điều này tại khu vực nông thôn thì hình thức và mức xử phạt như sau: a) Phạt tiền từ 10.000.000 đồng đến 20.000.000 đồng nếu diện tích đất lấn, chiếm dưới 0,05 héc ta; b) Phạt tiền từ 20.000.000 đồng đến 40.000.000 đồng nếu diện tích đất lấn, chiếm từ 0,05 héc ta đến dưới 0,1 héc ta; c) Phạt tiền từ 40.000.000 đồng đến 100.000.000 đồng nếu diện tích đất lấn, chiếm từ 0,1 héc ta đến dưới 0,5 héc ta; d) Phạt tiền từ 100.000.000 đồng đến 200.000.000 đồng nếu diện tích đất lấn, chiếm từ 0,5 héc ta đến dưới 01 héc ta; đ) Phạt tiền từ 200.000.000 đồng đến 500.000.000 đồng nếu diện tích đất lấn, chiếm từ 01 héc ta trở lên. 5. Trường hợp lấn, chiếm đất chưa sử dụng, đất nông nghiệp, đất phi nông nghiệp (trừ trường hợp quy định tại khoản 6 Điều này) tại khu vực đô thị thì mức xử phạt bằng 02 lần mức xử phạt đối với loại đất tương ứng quy định tại các khoản 1, 2, 3 và 4 Điều này và mức phạt tối đa không quá 500.000.000 đồng đối với cá nhân, không quá 1.000.000.000 đồng đối với tổ chức. 6. Trường hợp lấn, chiếm đất thuộc hành lang bảo vệ an toàn công trình và đất công trình có hành lang bảo vệ, đất trụ sở làm việc và cơ sở hoạt động sự nghiệp của cơ quan, tổ chức theo quy định của pháp luật về quản lý, sử dụng tài sản nhà nước thì hình thức và mức xử phạt thực hiện theo quy định của pháp luật về xử phạt vi phạm hành chính trong lĩnh vực về hoạt động đầu tư xây dựng; khai thác, chế biến, kinh doanh khoáng sản làm vật liệu xây dựng, sản xuất, kinh doanh vật liệu xây dựng; quản lý công trình hạ tầng kỹ thuật; kinh doanh bất động sản, phát triển nhà ở, quản lý sử dụng nhà và công sở; trong lĩnh vực về giao thông đường bộ và đường sắt; trong lĩnh vực về văn hóa, thể thao, du lịch và quảng cáo; trong lĩnh vực về khai thác và bảo vệ công trình thủy lợi; đê điều; phòng, chống lụt, bão; trong lĩnh vực quản lý, sử dụng tài sản nhà nước và các lĩnh vực chuyên ngành khác. 7. Biện pháp khắc phục hậu quả: a) Buộc khôi phục lại tình trạng ban đầu của đất trước khi vi phạm đối với các hành vi vi phạm tại các khoản 1, 2, 3, 4 và khoản 5 của Điều này và buộc trả lại đất đã lấn, chiếm; trừ trường hợp trường hợp quy định tại điểm b và điểm c khoản này; b) Buộc đăng ký đất đai theo quy định đối với trường hợp có đủ điều kiện được công nhận quyền sử dụng đất và các trường hợp người đang sử dụng đất vi phạm được tạm thời sử dụng cho đến khi Nhà nước thu hồi đất theo quy định tại Điều 22 Nghị định số 43/2014/NĐ-CP; c) Buộc thực hiện tiếp thủ tục giao đất, thuê đất theo quy định đối với trường hợp sử dụng đất khi chưa thực hiện xong thủ tục giao đất, thuê đất; d) Buộc nộp lại số lợi bất hợp pháp có được do thực hiện hành vi vi phạm quy định tại các khoản 1, 2, 3, 4 và 5 Điều này; số lợi bất hợp pháp được xác định theo quy định tại khoản 2 Điều 7 của Nghị định này."',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 8,988 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 8 tokens
mean: 24.3 tokens
max: 45 tokens

min: 18 tokens
mean: 272.63 tokens
max: 512 tokens

	anchor	positive
type	string	string
details	min: 8 tokens mean: 24.3 tokens max: 45 tokens	min: 18 tokens mean: 272.63 tokens max: 512 tokens

Samples:

anchor	positive
`Thực hiện phản ứng trong phương pháp HI nhằm chẩn đoán bệnh viêm phế quản truyền nhiễm ở gà như thế nào?`	Cách tiến hành ... 5.2. Chẩn đoán trong phòng thí nghiệm ... 5.2.3.2. Phương pháp HI Dùng đĩa ngưng kết 96 giếng (xem 4.3) để làm phản ứng. a) Cách tiến hành (Xem B.3 phụ lục B) b) Đọc kết quả Phản ứng dương tính: có sự ức chế ngưng kết hồng cầu ở hiệu giá pha loãng ≥ 1/16. Phản ứng âm tính: không có sự ức chế ngưng kết hoặc có sự ức chế ngưng kết ở hiệu giá pha loãng < 1/16. CHÚ THÍCH: Phương pháp này không đòi hỏi nhiều thiết bị máy móc, thực hiện đơn giản. Tuy nhiên, phương pháp này không phân biệt được kháng thể IB do tiêm phòng vắc xin hay do nhiễm thực địa. ...
`Chứng từ kế toán lập theo bộ có nhiều liên thì phải lập chứng từ như thế nào để phù hợp với quy định?`	Lập chứng từ kế toán ... 3. Yêu cầu đối với việc lập chứng từ kế toán a) Trên chứng từ kế toán phải ghi đầy đủ, rõ ràng, chính xác các nội dung theo quy định; Chữ viết trên chứng từ phải cùng một nét chữ, ghi rõ ràng, thể hiện đầy đủ, đúng nội dung phản ánh, không được tẩy xoá; khi viết phải dùng cùng một màu mực, loại mực không phai; không viết bằng mực đỏ. b) Về ghi số tiền bằng số và bằng chữ trên chứng từ: Số tiền viết bằng chữ phải khớp đúng với số tiền viết bằng số; tổng số tiền phải khớp đúng với tổng các số tiền chi tiết; chữ cái đầu tiên phải viết bằng chữ in hoa, những chữ còn lại không được viết bằng chữ in hoa; phải viết sát đầu dòng, chữ viết và chữ số phải viết liên tục không để cách quãng, ghi hết dòng mới xuống dòng khác, không được viết tắt, không viết chèn dòng, không viết đè lên chữ in sẵn; chỗ trống phải gạch chéo để không thể sửa chữa, thêm số hoặc thêm chữ. Chứng từ bị tẩy xoá, sửa chữa đều không có giá trị thanh toán và ghi sổ kế toán. Khi viết sai vào mẫu chứng từ in sẵn thì phải hủy bỏ bằng cách gạch chéo chứng từ viết sai. c) Yếu tố ngày, tháng, năm của chứng từ phải viết bằng số. d) Chứng từ lập theo bộ có nhiều liên phải được lập một lần cho tất cả các liên theo cùng một nội dung bằng máy vi tính, máy chữ hoặc viết lồng bằng giấy than. Trường hợp đặc biệt phải lập nhiều liên nhưng không thể viết một lần tất cả các liên chứng từ thì có thể viết hai lần nhưng phải đảm bảo thống nhất mọi nội dung trên tất cả các liên chứng từ. đ) Đối với chứng từ chi, trường hợp đơn vị rút nhiều mục, không lập được trên một trang giấy thì đơn vị có thể viết vào trang sau (mặt sau) hoặc lập nhiều bộ chứng từ (lưu ý 1 chứng từ chỉ được lập tối đa trên 2 trang giấy). Trường hợp chứng từ được viết trên 2 trang giấy thì tại trang sau, đơn vị phải viết cách lề trên khoảng 1/4 trang giấy. Trường hợp chứng từ chi được lập trên dịch vụ công, không giới hạn số lượng trang trên một chứng từ chi. e) Cán bộ KBNN không được nhận các chứng từ do đơn vị giao dịch lập không đúng quy định, không hợp pháp, hợp lệ; đồng thời phải hướng dẫn đơn vị giao dịch lập lại bộ chứng từ khác theo đúng quy định; cán bộ KBNN không được ghi các yếu tố thuộc trách nhiệm ghi của đơn vị giao dịch trên chứng từ; đơn vị giao dịch không được ghi các yếu tố thuộc trách nhiệm ghi chép của KBNN trên chứng từ. Cán bộ KBNN và đơn vị giao dịch không được ghi các yếu tố không thuộc trách nhiệm ghi của mình trên chứng từ.
`Cơ sở giáo dục nghề nghiệp tư thục hoạt động không vì lợi nhuận có thể được hưởng những chính sách khuyến khích nào?`	Chính sách khuyến khích đối với cơ sở giáo dục nghề nghiệp tư thục, cơ sở giáo dục nghề nghiệp có vốn đầu tư nước ngoài hoạt động không vì lợi nhuận 1. Cơ sở giáo dục nghề nghiệp tư thục, cơ sở giáo dục nghề nghiệp có vốn đầu tư nước ngoài hoạt động không vì lợi nhuận được hưởng các chính sách theo quy định tại các điểm a, b, c, d và g khoản 1 Điều 26 của Luật giáo dục nghề nghiệp và các chính sách sau: a) Ưu tiên cho thuê đất, cơ sở vật chất; b) Ưu tiên tiếp nhận các dự án đầu tư, đặt hàng để thực hiện nhiệm vụ đào tạo nghề nghiệp, nghiên cứu khoa học và chuyển giao công nghệ; c) Được hỗ trợ kỹ thuật để tiếp nhận học sinh phổ thông dân tộc nội trú khi ra trường vào học nghề và phát triển đào tạo các ngành, nghề đáp ứng nhu cầu học tập của người lao động đi làm việc ở nước ngoài. 2. Trường hợp cơ sở giáo dục nghề nghiệp tư thục, cơ sở giáo dục nghề nghiệp có vốn đầu tư nước ngoài đã cam kết hoạt động không vì lợi nhuận nhưng không thực hiện hoặc thực hiện không đúng với những quy định tại khoản 1 Điều 37 Nghị định này thì bị xử lý như sau: a) Thu hồi quyết định thành lập, công nhận hoạt động không vì lợi nhuận; b) Tước quyền thụ hưởng các chính sách ưu tiên đối với cơ sở giáo dục nghề nghiệp tư thục và cơ sở giáo dục nghề nghiệp có vốn đầu tư nước ngoài hoạt động không vì lợi nhuận; c) Phải hoàn trả các khoản hỗ trợ tài chính của Nhà nước gồm các khoản ưu đãi về tín dụng, ưu đãi từ các chương trình hỗ trợ kỹ thuật, dự án trong và ngoài nước; d) Bị truy thu các khoản thuế và bị xử phạt vi phạm pháp luật về thuế theo quy định.

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 4
learning_rate: 2e-05
num_train_epochs: 5
warmup_ratio: 0.1

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs