Add new SentenceTransformer model

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,735 @@
+---
+base_model: bkai-foundation-models/vietnamese-bi-encoder
+language:
+- vn
+library_name: sentence-transformers
+license: apache-2.0
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+pipeline_tag: sentence-similarity
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:107510
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+widget:
+- source_sentence: '" điều 8. loại dự_án đầu_tư xây_dựng nhà ở được thế_chấp vay vốn
+    tại tổ_chức tín_dụng dự_án đầu_tư xây_dựng nhà ở được thế_chấp để vay vốn theo
+    quy_định tại thông_tư này là một trong các dự_án đầu_tư xây_dựng nhà ở quy_định
+    tại khoản 2 điều 17 luật nhà ở , bao_gồm : 1. dự_án đầu_tư xây_dựng mới hoặc cải_tạo
+    một công_trình nhà ở độc_lập hoặc một cụm công_trình nhà ở. 2. dự_án đầu_tư xây_dựng
+    khu nhà ở có hệ_thống hạ_tầng kỹ_thuật và hạ_tầng xã_hội_đồng_bộ tại khu_vực nông_thôn.
+    3. dự_án đầu_tư xây_dựng khu đô_thị hoặc dự_án sử_dụng đất hỗn_hợp mà có dành
+    diện_tích đất trong dự_án để xây_dựng nhà ở. 4. dự_án đầu_tư xây_dựng công_trình
+    có mục_đích sử_dụng hỗn_hợp để ở và kinh_doanh. "'
+  sentences:
+  - vợ là người nước_ngoài thì làm giấy khai_sinh cho con ở đâu ?
+  - dụng_cụ tiếp_xúc với da nguyên_vẹn có_thể áp_dụng biện_pháp khử khuẩn ở mức_độ
+    nào ?
+  - những dự_án đầu_tư xây_dựng nhà ở nào được phép thế_chấp vay vốn tại tổ_chức tín_dụng
+    ?
+- source_sentence: 'hồ_sơ_khai thuế … 3. người nộp thuế không phải nộp hồ_sơ_khai
+    thuế trong các trường_hợp sau đây : … b ) cá_nhân có thu_nhập được miễn thuế theo
+    quy_định của pháp_luật về thuế thu_nhập cá_nhân và quy_định tại điểm b khoản 2
+    điều 79 luật quản_lý thuế_trừ cá_nhân nhận thừa_kế , quà tặng là bất_động_sản.
+    chuyển_nhượng bất_động_sản. … hồ_sơ_khai thuế của tổ_chức , cá_nhân trả thu_nhập
+    khấu_trừ thuế đối_với tiền_lương , tiền công … căn_cứ các quy_định nêu trên ,
+    chỉ trường_hợp tổ_chức , cá_nhân phát_sinh trả thu_nhập chịu thuế thu_nhập cá_nhân
+    mới thuộc diện phải khai thuế thu_nhập cá_nhân. do đó , trường_hợp tổ_chức , cá_nhân
+    không phát_sinh trả thu_nhập chịu thuế thu_nhập cá_nhân thì không thuộc diện điều_chỉnh
+    của luật thuế thu_nhập cá_nhân. theo đó , tổ_chức , cá_nhân không phát_sinh trả
+    thu_nhập chịu thuế thu_nhập cá_nhân tháng / quý nào thì không phải khai thuế thu_nhập
+    cá_nhân của tháng / quý đó … về khai thuế , tính thuế. về khai thuế thu_nhập cá_nhân
+    và thuế , các khoản thu khác của hộ kinh_doanh , cá_nhân cho thuê tài_sản a )
+    về hồ_sơ_khai thuế : điểm mới 1 : sửa_đổi quy_định tổ_chức , cá_nhân trả thu_nhập
+    không phát_sinh khấu_trừ thuế thu_nhập cá_nhân theo tháng , quý thì vẫn phải khai
+    thuế ( điểm b khoản 3 điều 7 ). trước đây : theo quy_định tại điểm a. 1 khoản
+    1 điều 16 thông_tư số 156 / 2013 / tt - btc ngày 6 / 11 / 2013 thì tổ_chức , cá_nhân
+    trả thu_nhập không phát_sinh khấu_trừ thuế thu_nhập cá_nhân theo tháng , quý thì
+    không phải khai thuế'
+  sentences:
+  - trường_hợp nào sử_dụng tác_phẩm đã công_bố không phải xin phép nhưng phải trả_thù_lao
+    ?
+  - mục_tiêu để học_sinh trung_cấp sư_phạm học chương_trình giáo_dục quốc_phòng và
+    an_ninh là gì ?
+  - không phát_sinh thuế thu_nhập cá_nhân có phải nộp tờ khai không ?
+- source_sentence: 'thẩm_quyền xử_phạt 1. thanh_tra khoa_học và công_nghệ có thẩm_quyền
+    xử_phạt các hành_vi vi_phạm_quy_định tại chương ii của nghị_định này. thẩm_quyền
+    xử_phạt của thanh_tra khoa_học và công_nghệ 1. thanh_tra viên thuộc thanh_tra
+    bộ khoa_học và công_nghệ , thanh_tra sở khoa_học và công_nghệ đang thi_hành công_vụ
+    có quyền : a ) phạt cảnh_cáo. b ) phạt tiền đến 500. 000 đồng. c ) tịch_thu tang_vật
+    , phương_tiện vi_phạm hành_chính có giá_trị không vượt quá 1. 000. 000 đồng. d
+    ) áp_dụng biện_pháp khắc_phục hậu_quả quy_định tại điểm d khoản 3 điều 3 của nghị_định
+    này. quy_định về mức phạt tiền tối_đa , thẩm_quyền xử_phạt đối_với cá_nhân , tổ_chức.
+    2. thẩm_quyền xử_phạt vi_phạm hành_chính của những người được quy_định tại các
+    điều từ 16 đến 21 của nghị_định này là thẩm_quyền áp_dụng đối_với một hành_vi
+    vi_phạm hành_chính của cá_nhân. trong trường_hợp phạt tiền , thẩm_quyền xử_phạt
+    đối_với tổ_chức gấp 02 lần thẩm_quyền xử_phạt đối_với cá_nhân'
+  sentences:
+  - thanh_tra viên thuộc thanh_tra bộ khoa_học và công_nghệ có quyền xử_phạt tổ_chức
+    đại_diện sở_hữu công_nghiệp làm sai_lệch nội_dung chứng_chỉ hành_nghề không ?
+  - nguồn tài_chính từ nguồn thu hoạt_động sự_nghiệp có phải là một trong các nguồn
+    của đơn_vị sự_nghiệp công_lập không ?
+  - hội_đồng tư_vấn tuyển_chọn thực_hiện nhiệm_vụ khoa_học cấp_bộ của bộ tư_pháp có
+    những trách_nhiệm gì ?
+- source_sentence: '" 1. đầu_tư chương_trình , dự_án kết_cấu_hạ_tầng kinh_tế - xã_hội.
+    trường_hợp thật_sự cần_thiết tách riêng việc bồi_thường , hỗ_trợ , tái_định_cư
+    , giải_phóng mặt_bằng thành dự_án độc_lập , đối_với dự_án quan_trọng quốc_gia
+    do quốc_hội xem_xét , quyết_định. đối_với dự_án nhóm a do thủ_tướng chính_phủ
+    , hội_đồng nhân_dân cấp tỉnh xem_xét , quyết_định theo thẩm_quyền. việc tách riêng
+    dự_án độc_lập được thực_hiện khi phê_duyệt chủ_trương đầu_tư dự_án quan_trọng
+    quốc_gia , dự_án nhóm a. 2. đầu_tư phục_vụ hoạt_động của cơ_quan nhà_nước , đơn_vị
+    sự_nghiệp công_lập , tổ_chức chính_trị , tổ_chức chính_trị - xã_hội. 3. đầu_tư
+    và hỗ_trợ hoạt_động đầu_tư cung_cấp sản_phẩm , dịch_vụ công_ích , phúc_lợi xã_hội.
+    4. đầu_tư của nhà_nước tham_gia thực_hiện dự_án theo phương_thức đối_tác công
+    tư. 5. đầu_tư phục_vụ công_tác lập , thẩm_định , quyết_định hoặc phê_duyệt , công_bố
+    và điều_chỉnh quy_hoạch theo quy_định của pháp_luật về quy_hoạch. 6. cấp bù lãi_suất
+    tín_dụng ưu_đãi , phí quản_lý. cấp vốn điều_lệ cho các ngân_hàng chính_sách ,
+    quỹ tài_chính nhà_nước_ngoài ngân_sách. hỗ_trợ đầu_tư cho các đối_tượng chính_sách
+    khác theo quyết_định của thủ_tướng chính_phủ. chính_phủ quy_định trình_tự , thủ_tục
+    thực_hiện đầu_tư đối_với đối_tượng quy_định tại khoản này. "'
+  sentences:
+  - các nước phát_triển khi tham_gia_công_ước chống sa_mạc_hóa của liên_hợp quốc sẽ
+    có những nghĩa_vụ nào ?
+  - ban quản_lý các dự_án đầu_tư xây_dựng thanh_tra chính_phủ có cơ_cấu tổ_chức như
+    thế_nào ?
+  - đối_tượng đầu_tư công bao_gồm những_ai ?
+- source_sentence: 1. công_ước này sẽ bắt_đầu có hiệu_lực với điều_kiện tuân_thủ các
+    quy_định của khoản 6 điều này , vào ngày đầu tháng tiếp_theo sau khi hết một hạn
+    kỳ 12 tháng kể từ ngày văn_bản phê_chuẩn , chấp_nhận , chuẩn_y hay gia_nhập thứ
+    mười được đệ_trình kể_cả những văn_bản chứa_đựng một tuyên_bố được làm chiếu theo
+    điều 92. 5. mọi quốc_gia thành_viên của công_ước la - haye 1964 về ký_kết_hợp_đồng
+    mà phê_chuẩn , chấp_nhận hay chuẩn_y công_ước này , hoặc gia_nhập công_ước này
+    và tuyên_bố hay đã tuyên_bố chiếu theo điều 92 rằng họ không bị ràng_buộc bởi
+    phần thứ ba của công_ước sẽ hủy bỏ vào lúc phê_chuẩn , chấp_nhận , chuẩn_y hay
+    gia_nhập , bản công_ước la - haye 1964 về ký_kết_hợp_đồng_bằng cách gửi một thông_cáo
+    với mục_đích đó cho chính_phủ hà_lan. 6. vì mục_đích của điều này , các sự phê_chuẩn
+    , chấp_nhận , chuẩn_y và gia_nhập công_ước này của các quốc_gia thành_viên của
+    công_ước la - haye 1964 về ký_kết_hợp_đồng hay công_ước la - haye 1964 về mua_bán
+    hàng_hóa chỉ bắt_đầu có hiệu_lực kể từ ngày các thông_báo hủy_bỏ của các quốc_gia
+    đó đối_với hai công_ước nói trên cũng sẽ có hiệu_lực. người giữ lưu_chiểu bản
+    công_ước này sẽ thỏa_thuận với chính_phủ hà_lan , vốn là người giữ lưu_chiểu các
+    công_ước 1964 , để ��ảm_bảo sự phối_hợp cần_thiết về vấn_đề này
+  sentences:
+  - công_ước viên về mua_bán hàng_hóa quốc_tế năm 1980 sẽ bắt_đầu có hiệu_lực với
+    điều_kiện gì ?
+  - sau khi giữ người trong trường_hợp khẩn_cấp thì cơ_quan điều_tra phải thông_báo
+    ngay cho những_ai ?
+  - đăng_kiểm viên có hành_vi làm sai_lệch kết_quả kiểm_định xe cơ_giới bị phạt tiền
+    như thế_nào ?
+model-index:
+- name: vietnamese-bi-encoder-for-SoICT-2024
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.3883308220324795
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.6043864054913779
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.6909425749204755
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7849489368826386
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.3883308220324795
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.2014621351637926
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.13818851498409507
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07849489368826384
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.3883308220324795
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.6043864054913779
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.6909425749204755
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7849489368826386
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.5804958772856197
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.5156554362355417
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.5234798575441378
+      name: Cosine Map@100
+---
+
+# vietnamese-bi-encoder-for-SoICT-2024
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) <!-- at revision 84f9d9ada0d1a3c37557398b9ae9fcedcdf40be0 -->
+- **Maximum Sequence Length:** 256 tokens
+- **Output Dimensionality:** 768 tokens
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+- **Language:** vn
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("maiduchuy321/vietnamese-bi-encoder-for-SoICT-2024")
+# Run inference
+sentences = [
+    '1. công_ước này sẽ bắt_đầu có hiệu_lực với điều_kiện tuân_thủ các quy_định của khoản 6 điều này , vào ngày đầu tháng tiếp_theo sau khi hết một hạn kỳ 12 tháng kể từ ngày văn_bản phê_chuẩn , chấp_nhận , chuẩn_y hay gia_nhập thứ mười được đệ_trình kể_cả những văn_bản chứa_đựng một tuyên_bố được làm chiếu theo điều 92. 5. mọi quốc_gia thành_viên của công_ước la - haye 1964 về ký_kết_hợp_đồng mà phê_chuẩn , chấp_nhận hay chuẩn_y công_ước này , hoặc gia_nhập công_ước này và tuyên_bố hay đã tuyên_bố chiếu theo điều 92 rằng họ không bị ràng_buộc bởi phần thứ ba của công_ước sẽ hủy bỏ vào lúc phê_chuẩn , chấp_nhận , chuẩn_y hay gia_nhập , bản công_ước la - haye 1964 về ký_kết_hợp_đồng_bằng cách gửi một thông_cáo với mục_đích đó cho chính_phủ hà_lan. 6. vì mục_đích của điều này , các sự phê_chuẩn , chấp_nhận , chuẩn_y và gia_nhập công_ước này của các quốc_gia thành_viên của công_ước la - haye 1964 về ký_kết_hợp_đồng hay công_ước la - haye 1964 về mua_bán hàng_hóa chỉ bắt_đầu có hiệu_lực kể từ ngày các thông_báo hủy_bỏ của các quốc_gia đó đối_với hai công_ước nói trên cũng sẽ có hiệu_lực. người giữ lưu_chiểu bản công_ước này sẽ thỏa_thuận với chính_phủ hà_lan , vốn là người giữ lưu_chiểu các công_ước 1964 , để đảm_bảo sự phối_hợp cần_thiết về vấn_đề này',
+    'công_ước viên về mua_bán hàng_hóa quốc_tế năm 1980 sẽ bắt_đầu có hiệu_lực với điều_kiện gì ?',
+    'đăng_kiểm viên có hành_vi làm sai_lệch kết_quả kiểm_định xe cơ_giới bị phạt tiền như thế_nào ?',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+* Dataset: `dim_768`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.3883     |
+| cosine_accuracy@3   | 0.6044     |
+| cosine_accuracy@5   | 0.6909     |
+| cosine_accuracy@10  | 0.7849     |
+| cosine_precision@1  | 0.3883     |
+| cosine_precision@3  | 0.2015     |
+| cosine_precision@5  | 0.1382     |
+| cosine_precision@10 | 0.0785     |
+| cosine_recall@1     | 0.3883     |
+| cosine_recall@3     | 0.6044     |
+| cosine_recall@5     | 0.6909     |
+| cosine_recall@10    | 0.7849     |
+| cosine_ndcg@10      | 0.5805     |
+| cosine_mrr@10       | 0.5157     |
+| **cosine_map@100**  | **0.5235** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 107,510 training samples
+* Columns: <code>positive</code> and <code>anchor</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | positive                                                                            | anchor                                                                            |
+  |:--------|:------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                            |
+  | details | <ul><li>min: 2 tokens</li><li>mean: 169.63 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 17.53 tokens</li><li>max: 37 tokens</li></ul> |
+* Samples:
+  | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            | anchor                                                                                                                        |
+  |:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------|
+  | <code>" điều 6. mức hưởng chế_độ ốm_đau 1. mức hưởng chế_độ ốm_đau theo quy_định tại khoản 1 điều 26 và điều 27 của luật bảo_hiểm xã_hội được tính như sau : mức hưởng chế_độ ốm_đau = tiền_lương tháng đóng bảo_hiểm xã_hội của tháng liền kề trước khi nghỉ_việc / 24 ngày x 75 ( % ) x số ngày nghỉ_việc được hưởng chế_độ ốm_đau "</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | <code>mức hưởng chế_độ ốm_đau được pháp_luật quy_định như thế_nào ?</code>                                                    |
+  | <code>huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy. 4. trách_nhiệm tổ_chức huấn_luyện , bồi_dưỡng nghiệp_vụ về phòng cháy và chữa_cháy :. b ) cơ_quan , tổ_chức , cơ_sở hoặc cá_nhân có nhu_cầu được huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy thì đề_nghị cơ_quan công_an hoặc cơ_sở huấn_luyện , hướng_dẫn về nghiệp_vụ phòng cháy và chữa_cháy đã được xác_nhận đủ điều_kiện kinh_doanh dịch_vụ phòng cháy và chữa_cháy tổ_chức huấn_luyện. kinh_phí tổ_chức huấn_luyện do cơ_quan , tổ_chức , cơ_sở hoặc cá_nhân tham_gia huấn_luyện chịu trách_nhiệm. vi_phạm_quy_định về tuyên_truyền , phổ_biến pháp_luật , kiến_thức và huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy , cứu nạn , cứu_hộ. 3. phạt tiền từ 1. 500. 000 đồng đến 3. 000. 000 đồng đối_với hành_vi không tổ_chức huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy , cứu nạn , cứu_hộ theo quy_định</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        | <code>công_ty không thực_hiện bồi_dưỡng nghiệp_vụ phòng cháy chữa_cháy cho người lao_động thì bị xử_phạt như thế_nào ?</code> |
+  | <code>" điều 73. điều_kiện trước khi chính_thức hoạt_động 1. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải chính_thức hoạt_động trong thời_hạn 12 tháng kể từ ngày được cấp giấy_phép thành_lập và hoạt_động , trừ trường_hợp có sự_kiện bất_khả_kháng hoặc trở_ngại khách_quan. đối_với trường_hợp bất_khả_kháng hoặc trở_ngại khách_quan , doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải báo_cáo bằng văn_bản và được bộ tài_chính chấp_thuận bằng văn_bản về việc gia_hạn thời_gian chính_thức hoạt_động. thời_gian gia_hạn tối_đa là 12 tháng. 2. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải đáp_ứng các quy_định sau đây để chính_thức hoạt_động : a ) chuyển số vốn gửi tại tài_khoản phong_tỏa thành vốn điều_lệ hoặc vốn được cấp. b ) xây_dựng cơ_cấu tổ_chức , bộ_máy quản_lý , kiểm_soát nội_bộ , kiểm_toán nội_bộ , hệ_thống quản_trị rủi_ro phù_hợp với hình_thức hoạt_động theo quy_định của luật này và quy_định khác của pháp_luật có liên_quan. bầu , bổ_nhiệm người đại_diện theo pháp_luật. bầu , bổ_nhiệm các chức_danh đã được bộ tài_chính chấp_thuận về nguyên_tắc quy_định tại khoản 2 điều 70 của luật này. c ) ban_hành các quy_chế quản_lý nội_bộ về tổ_chức hoạt_động , quy_chế nội_bộ về quản_trị rủi_ro và các quy_trình nghiệp_vụ cơ_bản theo quy_định pháp_luật. d ) ký_quỹ đầy_đủ theo quy_định của luật này tại ngân_hàng thương_mại hoạt_động tại việt_nam. đ ) có trụ_sở , cơ_sở vật_chất , kỹ_thuật , hệ_thống công_nghệ phù_hợp với quy_trình nghiệp_vụ về kinh_doanh bảo_hiểm. e ) thực_hiện công_bố nội_dung giấy_phép thành_lập và hoạt_động quy_định tại khoản 2 điều 72 của luật này. 3. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải thông_báo cho bộ tài_chính về việc đáp_ứng các quy_định tại khoản 2 điều này ít_nhất 15 ngày trước ngày chính_thức hoạt_động. bộ tài_chính có quyền đình_chỉ việc chính_thức hoạt_động của doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt_nam khi chưa đáp_ứng các quy_định tại khoản 2 điều này. 4. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam không được tiến_hành hoạt_động_kinh_doanh bảo_hiểm trước ngày chính_thức hoạt_động. "</code> | <code>điều_kiện để doanh_nghiệp bảo_hiểm được chính_thức hoạt_động ?</code>                                                   |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768
+      ],
+      "matryoshka_weights": [
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Evaluation Dataset
+
+#### json
+
+* Dataset: json
+* Size: 11,946 evaluation samples
+* Columns: <code>positive</code> and <code>anchor</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | positive                                                                             | anchor                                                                            |
+  |:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
+  | type    | string                                                                               | string                                                                            |
+  | details | <ul><li>min: 16 tokens</li><li>mean: 165.45 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 17.33 tokens</li><li>max: 40 tokens</li></ul> |
+* Samples:
+  | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          | anchor                                                                              |
+  |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | <code>" điều 15. nguyên_tắc giao_kết_hợp_đồng lao_động 1. tự_nguyện , bình_đẳng , thiện_chí , hợp_tác và trung_thực. 2. tự_do giao_kết_hợp_đồng lao_động nhưng không được trái pháp_luật , thỏa_ước lao_động tập_thể và đạo_đức xã_hội. "</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | <code>nguyên_tắc giao_kết_hợp_đồng lao_động được đề_cập như thế_nào ?</code>        |
+  | <code>" 1. mỗi chức_danh công_chức cấp xã được bố_trí từ 01 người trở lên , ủy_ban nhân_dân cấp tỉnh quy_định việc bố_trí tăng thêm người ở một_số chức_danh công_chức cấp xã phù_hợp với yêu_cầu , nhiệm_vụ của từng xã , phường , thị_trấn ( trừ chức_danh trưởng công_an xã và chỉ_huy_trưởng ban chỉ_huy quân_sự cấp xã ) nhưng không vượt quá tổng_số cán_bộ , công_chức cấp xã quy_định tại khoản 1 điều 4 nghị_định số 92 / 2009 / nđ - cp đã được sửa_đổi , bổ_sung tại khoản 1 điều 2 nghị_định 34 / 2019 / nđ - cp. 2. những chức_danh công_chức cấp xã có từ 02 người đảm_nhiệm , khi tuyển_dụng , ghi hồ_sơ lý_lịch và sổ bảo_hiểm xã_hội phải thống_nhất theo đúng tên gọi của chức_danh công_chức cấp xã quy_định tại khoản 2 điều 3 nghị_định số 92 / 2009 / nđ - cp. 3. căn_cứ quyết_định của ủy_ban nhân_dân cấp tỉnh về việc giao số_lượng cán_bộ , công_chức cấp xã , chủ_tịch ủy_ban nhân_dân cấp huyện quyết_định tuyển_dụng , phân_công , điều_động , luân_chuyển và bố_trí người đảm_nhiệm các chức_danh công_chức cấp xã phù_hợp với chuyên_ngành đào_tạo và đáp_ứng các yêu_cầu của vị_trí chức_danh công_chức. "</code> | <code>bố_trí số_lượng công_chức cấp xã được pháp_luật quy_định như thế_nào ?</code> |
+  | <code>“ điều 3. giải_thích từ_ngữ … 4. thu phí dịch_vụ sử_dụng đường_bộ theo hình_thức điện_tử không dừng ( sau đây gọi tắt là thu phí điện_tử không dừng ) là hình_thức thu phí dịch_vụ sử_dụng đường_bộ tự_động , phương_tiện giao_thông đường_bộ không cần phải dừng lại để trả phí dịch_vụ sử_dụng đường_bộ khi tới trạm thu phí dịch_vụ sử_dụng đường_bộ. quá_trình tính_toán phí dịch_vụ sử_dụng đường_bộ được thực_hiện tự_động bởi hệ_thống thu phí dịch_vụ sử_dụng đường_bộ theo hình_thức điện_tử không dừng ( sau đây gọi tắt là hệ_thống thu phí điện_tử không dừng ). ”</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | <code>thu phí điện_tử không dừng là gì ?</code>                                     |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768
+      ],
+      "matryoshka_weights": [
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 24
+- `per_device_eval_batch_size`: 16
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 5
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `fp16`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 24
+- `per_device_eval_batch_size`: 16
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 5
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch   | Step     | Training Loss | Validation Loss | dim_768_cosine_map@100 |
+|:-------:|:--------:|:-------------:|:---------------:|:----------------------:|
+| 0.0357  | 10       | 0.0982        | -               | -                      |
+| 0.0714  | 20       | 0.0764        | -               | -                      |
+| 0.1071  | 30       | 0.0586        | -               | -                      |
+| 0.1429  | 40       | 0.0484        | -               | -                      |
+| 0.1786  | 50       | 0.0513        | -               | -                      |
+| 0.2143  | 60       | 0.0441        | -               | -                      |
+| 0.25    | 70       | 0.0446        | -               | -                      |
+| 0.2857  | 80       | 0.0445        | -               | -                      |
+| 0.3214  | 90       | 0.0295        | -               | -                      |
+| 0.3571  | 100      | 0.0359        | -               | -                      |
+| 0.3929  | 110      | 0.035         | -               | -                      |
+| 0.4286  | 120      | 0.0364        | -               | -                      |
+| 0.4643  | 130      | 0.0323        | -               | -                      |
+| 0.5     | 140      | 0.0317        | -               | -                      |
+| 0.5357  | 150      | 0.03          | -               | -                      |
+| 0.5714  | 160      | 0.0278        | -               | -                      |
+| 0.6071  | 170      | 0.026         | -               | -                      |
+| 0.6429  | 180      | 0.0324        | -               | -                      |
+| 0.6786  | 190      | 0.0316        | -               | -                      |
+| 0.7143  | 200      | 0.031         | -               | -                      |
+| 0.75    | 210      | 0.0268        | -               | -                      |
+| 0.7857  | 220      | 0.0246        | -               | -                      |
+| 0.8214  | 230      | 0.0266        | -               | -                      |
+| 0.8571  | 240      | 0.0244        | -               | -                      |
+| 0.8929  | 250      | 0.0248        | -               | -                      |
+| 0.9286  | 260      | 0.0267        | -               | -                      |
+| 0.9643  | 270      | 0.0224        | -               | -                      |
+| 1.0     | 280      | 0.0305        | 0.0125          | 0.5116                 |
+| 1.0357  | 290      | 0.0284        | -               | -                      |
+| 1.0714  | 300      | 0.0276        | -               | -                      |
+| 1.1071  | 310      | 0.0179        | -               | -                      |
+| 1.1429  | 320      | 0.0179        | -               | -                      |
+| 1.1786  | 330      | 0.0222        | -               | -                      |
+| 1.2143  | 340      | 0.0174        | -               | -                      |
+| 1.25    | 350      | 0.0146        | -               | -                      |
+| 1.2857  | 360      | 0.0181        | -               | -                      |
+| 1.3214  | 370      | 0.0113        | -               | -                      |
+| 1.3571  | 380      | 0.0131        | -               | -                      |
+| 1.3929  | 390      | 0.0097        | -               | -                      |
+| 1.4286  | 400      | 0.0137        | -               | -                      |
+| 1.4643  | 410      | 0.0119        | -               | -                      |
+| 1.5     | 420      | 0.0092        | -               | -                      |
+| 1.5357  | 430      | 0.0103        | -               | -                      |
+| 1.5714  | 440      | 0.0081        | -               | -                      |
+| 1.6071  | 450      | 0.009         | -               | -                      |
+| 1.6429  | 460      | 0.0098        | -               | -                      |
+| 1.6786  | 470      | 0.009         | -               | -                      |
+| 1.7143  | 480      | 0.0098        | -               | -                      |
+| 1.75    | 490      | 0.0104        | -               | -                      |
+| 1.7857  | 500      | 0.0094        | -               | -                      |
+| 1.8214  | 510      | 0.0088        | -               | -                      |
+| 1.8571  | 520      | 0.0104        | -               | -                      |
+| 1.8929  | 530      | 0.0096        | -               | -                      |
+| 1.9286  | 540      | 0.0097        | -               | -                      |
+| 1.9643  | 550      | 0.009         | -               | -                      |
+| 2.0     | 560      | 0.01          | 0.0109          | 0.5177                 |
+| 2.0357  | 570      | 0.0106        | -               | -                      |
+| 2.0714  | 580      | 0.0106        | -               | -                      |
+| 2.1071  | 590      | 0.0079        | -               | -                      |
+| 2.1429  | 600      | 0.0079        | -               | -                      |
+| 2.1786  | 610      | 0.0088        | -               | -                      |
+| 2.2143  | 620      | 0.0088        | -               | -                      |
+| 2.25    | 630      | 0.0076        | -               | -                      |
+| 2.2857  | 640      | 0.0077        | -               | -                      |
+| 2.3214  | 650      | 0.0057        | -               | -                      |
+| 2.3571  | 660      | 0.0063        | -               | -                      |
+| 2.3929  | 670      | 0.0052        | -               | -                      |
+| 2.4286  | 680      | 0.0076        | -               | -                      |
+| 2.4643  | 690      | 0.0063        | -               | -                      |
+| 2.5     | 700      | 0.0056        | -               | -                      |
+| 2.5357  | 710      | 0.007         | -               | -                      |
+| 2.5714  | 720      | 0.0053        | -               | -                      |
+| 2.6071  | 730      | 0.0051        | -               | -                      |
+| 2.6429  | 740      | 0.0052        | -               | -                      |
+| 2.6786  | 750      | 0.0055        | -               | -                      |
+| 2.7143  | 760      | 0.0066        | -               | -                      |
+| 2.75    | 770      | 0.0058        | -               | -                      |
+| 2.7857  | 780      | 0.0055        | -               | -                      |
+| 2.8214  | 790      | 0.006         | -               | -                      |
+| 2.8571  | 800      | 0.0058        | -               | -                      |
+| 2.8929  | 810      | 0.0054        | -               | -                      |
+| 2.9286  | 820      | 0.006         | -               | -                      |
+| 2.9643  | 830      | 0.0061        | -               | -                      |
+| 3.0     | 840      | 0.0061        | 0.0105          | 0.5197                 |
+| 3.0357  | 850      | 0.0063        | -               | -                      |
+| 3.0714  | 860      | 0.0062        | -               | -                      |
+| 3.1071  | 870      | 0.0058        | -               | -                      |
+| 3.1429  | 880      | 0.0044        | -               | -                      |
+| 3.1786  | 890      | 0.0061        | -               | -                      |
+| 3.2143  | 900      | 0.0052        | -               | -                      |
+| 3.25    | 910      | 0.0052        | -               | -                      |
+| 3.2857  | 920      | 0.005         | -               | -                      |
+| 3.3214  | 930      | 0.0042        | -               | -                      |
+| 3.3571  | 940      | 0.0043        | -               | -                      |
+| 3.3929  | 950      | 0.0046        | -               | -                      |
+| 3.4286  | 960      | 0.0052        | -               | -                      |
+| 3.4643  | 970      | 0.0047        | -               | -                      |
+| 3.5     | 980      | 0.0042        | -               | -                      |
+| 3.5357  | 990      | 0.0053        | -               | -                      |
+| 3.5714  | 1000     | 0.0035        | -               | -                      |
+| 3.6071  | 1010     | 0.0041        | -               | -                      |
+| 3.6429  | 1020     | 0.0037        | -               | -                      |
+| 3.6786  | 1030     | 0.0038        | -               | -                      |
+| 3.7143  | 1040     | 0.005         | -               | -                      |
+| 3.75    | 1050     | 0.004         | -               | -                      |
+| 3.7857  | 1060     | 0.0039        | -               | -                      |
+| 3.8214  | 1070     | 0.0038        | -               | -                      |
+| 3.8571  | 1080     | 0.0042        | -               | -                      |
+| 3.8929  | 1090     | 0.0048        | -               | -                      |
+| 3.9286  | 1100     | 0.0046        | -               | -                      |
+| 3.9643  | 1110     | 0.0051        | -               | -                      |
+| **4.0** | **1120** | **0.0045**    | **0.0103**      | **0.5245**             |
+| 4.0357  | 1130     | 0.0041        | -               | -                      |
+| 4.0714  | 1140     | 0.0048        | -               | -                      |
+| 4.1071  | 1150     | 0.0046        | -               | -                      |
+| 4.1429  | 1160     | 0.0036        | -               | -                      |
+| 4.1786  | 1170     | 0.0056        | -               | -                      |
+| 4.2143  | 1180     | 0.0044        | -               | -                      |
+| 4.25    | 1190     | 0.0046        | -               | -                      |
+| 4.2857  | 1200     | 0.005         | -               | -                      |
+| 4.3214  | 1210     | 0.0035        | -               | -                      |
+| 4.3571  | 1220     | 0.0039        | -               | -                      |
+| 4.3929  | 1230     | 0.0035        | -               | -                      |
+| 4.4286  | 1240     | 0.0047        | -               | -                      |
+| 4.4643  | 1250     | 0.005         | -               | -                      |
+| 4.5     | 1260     | 0.0041        | -               | -                      |
+| 4.5357  | 1270     | 0.0044        | -               | -                      |
+| 4.5714  | 1280     | 0.0033        | -               | -                      |
+| 4.6071  | 1290     | 0.0037        | -               | -                      |
+| 4.6429  | 1300     | 0.0037        | -               | -                      |
+| 4.6786  | 1310     | 0.0033        | -               | -                      |
+| 4.7143  | 1320     | 0.0047        | -               | -                      |
+| 4.75    | 1330     | 0.0032        | -               | -                      |
+| 4.7857  | 1340     | 0.0039        | -               | -                      |
+| 4.8214  | 1350     | 0.0041        | -               | -                      |
+| 4.8571  | 1360     | 0.0038        | -               | -                      |
+| 4.8929  | 1370     | 0.0045        | -               | -                      |
+| 4.9286  | 1380     | 0.0044        | -               | -                      |
+| 4.9643  | 1390     | 0.0044        | -               | -                      |
+| 5.0     | 1400     | 0.0047        | 0.0102          | 0.5235                 |
+
+* The bold row denotes the saved checkpoint.
+</details>
+
+### Framework Versions
+- Python: 3.10.14
+- Sentence Transformers: 3.2.1
+- Transformers: 4.45.1
+- PyTorch: 2.4.0
+- Accelerate: 0.34.2
+- Datasets: 3.0.1
+- Tokenizers: 0.20.0
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<mask>": 64000
+}

config.json

@@ -0,0 +1,28 @@
+{
+  "_name_or_path": "bkai-foundation-models/vietnamese-bi-encoder",
+  "architectures": [
+    "RobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 258,
+  "model_type": "roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "tokenizer_class": "PhobertTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.45.1",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 64001
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.2.1",
+    "transformers": "4.45.1",
+    "pytorch": "2.4.0"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": null
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c15a11e85c828c98b2c29325679a95f3517f997cb83c2fb35a681412f333507d
+size 540015464

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 256,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,54 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64000": {
+      "content": "<mask>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 256,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "PhobertTokenizer",
+  "unk_token": "<unk>"
+}