|
--- |
|
base_model: bkai-foundation-models/vietnamese-bi-encoder |
|
language: |
|
- vn |
|
library_name: sentence-transformers |
|
license: apache-2.0 |
|
metrics: |
|
- cosine_accuracy@1 |
|
- cosine_accuracy@3 |
|
- cosine_accuracy@5 |
|
- cosine_accuracy@10 |
|
- cosine_precision@1 |
|
- cosine_precision@3 |
|
- cosine_precision@5 |
|
- cosine_precision@10 |
|
- cosine_recall@1 |
|
- cosine_recall@3 |
|
- cosine_recall@5 |
|
- cosine_recall@10 |
|
- cosine_ndcg@10 |
|
- cosine_mrr@10 |
|
- cosine_map@100 |
|
pipeline_tag: sentence-similarity |
|
tags: |
|
- sentence-transformers |
|
- sentence-similarity |
|
- feature-extraction |
|
- generated_from_trainer |
|
- dataset_size:107510 |
|
- loss:MatryoshkaLoss |
|
- loss:MultipleNegativesRankingLoss |
|
widget: |
|
- source_sentence: '" điều 8. loại dự_án đầu_tư xây_dựng nhà ở được thế_chấp vay vốn |
|
tại tổ_chức tín_dụng dự_án đầu_tư xây_dựng nhà ở được thế_chấp để vay vốn theo |
|
quy_định tại thông_tư này là một trong các dự_án đầu_tư xây_dựng nhà ở quy_định |
|
tại khoản 2 điều 17 luật nhà ở , bao_gồm : 1. dự_án đầu_tư xây_dựng mới hoặc cải_tạo |
|
một công_trình nhà ở độc_lập hoặc một cụm công_trình nhà ở. 2. dự_án đầu_tư xây_dựng |
|
khu nhà ở có hệ_thống hạ_tầng kỹ_thuật và hạ_tầng xã_hội_đồng_bộ tại khu_vực nông_thôn. |
|
3. dự_án đầu_tư xây_dựng khu đô_thị hoặc dự_án sử_dụng đất hỗn_hợp mà có dành |
|
diện_tích đất trong dự_án để xây_dựng nhà ở. 4. dự_án đầu_tư xây_dựng công_trình |
|
có mục_đích sử_dụng hỗn_hợp để ở và kinh_doanh. "' |
|
sentences: |
|
- vợ là người nước_ngoài thì làm giấy khai_sinh cho con ở đâu ? |
|
- dụng_cụ tiếp_xúc với da nguyên_vẹn có_thể áp_dụng biện_pháp khử khuẩn ở mức_độ |
|
nào ? |
|
- những dự_án đầu_tư xây_dựng nhà ở nào được phép thế_chấp vay vốn tại tổ_chức tín_dụng |
|
? |
|
- source_sentence: 'hồ_sơ_khai thuế … 3. người nộp thuế không phải nộp hồ_sơ_khai |
|
thuế trong các trường_hợp sau đây : … b ) cá_nhân có thu_nhập được miễn thuế theo |
|
quy_định của pháp_luật về thuế thu_nhập cá_nhân và quy_định tại điểm b khoản 2 |
|
điều 79 luật quản_lý thuế_trừ cá_nhân nhận thừa_kế , quà tặng là bất_động_sản. |
|
chuyển_nhượng bất_động_sản. … hồ_sơ_khai thuế của tổ_chức , cá_nhân trả thu_nhập |
|
khấu_trừ thuế đối_với tiền_lương , tiền công … căn_cứ các quy_định nêu trên , |
|
chỉ trường_hợp tổ_chức , cá_nhân phát_sinh trả thu_nhập chịu thuế thu_nhập cá_nhân |
|
mới thuộc diện phải khai thuế thu_nhập cá_nhân. do đó , trường_hợp tổ_chức , cá_nhân |
|
không phát_sinh trả thu_nhập chịu thuế thu_nhập cá_nhân thì không thuộc diện điều_chỉnh |
|
của luật thuế thu_nhập cá_nhân. theo đó , tổ_chức , cá_nhân không phát_sinh trả |
|
thu_nhập chịu thuế thu_nhập cá_nhân tháng / quý nào thì không phải khai thuế thu_nhập |
|
cá_nhân của tháng / quý đó … về khai thuế , tính thuế. về khai thuế thu_nhập cá_nhân |
|
và thuế , các khoản thu khác của hộ kinh_doanh , cá_nhân cho thuê tài_sản a ) |
|
về hồ_sơ_khai thuế : điểm mới 1 : sửa_đổi quy_định tổ_chức , cá_nhân trả thu_nhập |
|
không phát_sinh khấu_trừ thuế thu_nhập cá_nhân theo tháng , quý thì vẫn phải khai |
|
thuế ( điểm b khoản 3 điều 7 ). trước đây : theo quy_định tại điểm a. 1 khoản |
|
1 điều 16 thông_tư số 156 / 2013 / tt - btc ngày 6 / 11 / 2013 thì tổ_chức , cá_nhân |
|
trả thu_nhập không phát_sinh khấu_trừ thuế thu_nhập cá_nhân theo tháng , quý thì |
|
không phải khai thuế' |
|
sentences: |
|
- trường_hợp nào sử_dụng tác_phẩm đã công_bố không phải xin phép nhưng phải trả_thù_lao |
|
? |
|
- mục_tiêu để học_sinh trung_cấp sư_phạm học chương_trình giáo_dục quốc_phòng và |
|
an_ninh là gì ? |
|
- không phát_sinh thuế thu_nhập cá_nhân có phải nộp tờ khai không ? |
|
- source_sentence: 'thẩm_quyền xử_phạt 1. thanh_tra khoa_học và công_nghệ có thẩm_quyền |
|
xử_phạt các hành_vi vi_phạm_quy_định tại chương ii của nghị_định này. thẩm_quyền |
|
xử_phạt của thanh_tra khoa_học và công_nghệ 1. thanh_tra viên thuộc thanh_tra |
|
bộ khoa_học và công_nghệ , thanh_tra sở khoa_học và công_nghệ đang thi_hành công_vụ |
|
có quyền : a ) phạt cảnh_cáo. b ) phạt tiền đến 500. 000 đồng. c ) tịch_thu tang_vật |
|
, phương_tiện vi_phạm hành_chính có giá_trị không vượt quá 1. 000. 000 đồng. d |
|
) áp_dụng biện_pháp khắc_phục hậu_quả quy_định tại điểm d khoản 3 điều 3 của nghị_định |
|
này. quy_định về mức phạt tiền tối_đa , thẩm_quyền xử_phạt đối_với cá_nhân , tổ_chức. |
|
2. thẩm_quyền xử_phạt vi_phạm hành_chính của những người được quy_định tại các |
|
điều từ 16 đến 21 của nghị_định này là thẩm_quyền áp_dụng đối_với một hành_vi |
|
vi_phạm hành_chính của cá_nhân. trong trường_hợp phạt tiền , thẩm_quyền xử_phạt |
|
đối_với tổ_chức gấp 02 lần thẩm_quyền xử_phạt đối_với cá_nhân' |
|
sentences: |
|
- thanh_tra viên thuộc thanh_tra bộ khoa_học và công_nghệ có quyền xử_phạt tổ_chức |
|
đại_diện sở_hữu công_nghiệp làm sai_lệch nội_dung chứng_chỉ hành_nghề không ? |
|
- nguồn tài_chính từ nguồn thu hoạt_động sự_nghiệp có phải là một trong các nguồn |
|
của đơn_vị sự_nghiệp công_lập không ? |
|
- hội_đồng tư_vấn tuyển_chọn thực_hiện nhiệm_vụ khoa_học cấp_bộ của bộ tư_pháp có |
|
những trách_nhiệm gì ? |
|
- source_sentence: '" 1. đầu_tư chương_trình , dự_án kết_cấu_hạ_tầng kinh_tế - xã_hội. |
|
trường_hợp thật_sự cần_thiết tách riêng việc bồi_thường , hỗ_trợ , tái_định_cư |
|
, giải_phóng mặt_bằng thành dự_án độc_lập , đối_với dự_án quan_trọng quốc_gia |
|
do quốc_hội xem_xét , quyết_định. đối_với dự_án nhóm a do thủ_tướng chính_phủ |
|
, hội_đồng nhân_dân cấp tỉnh xem_xét , quyết_định theo thẩm_quyền. việc tách riêng |
|
dự_án độc_lập được thực_hiện khi phê_duyệt chủ_trương đầu_tư dự_án quan_trọng |
|
quốc_gia , dự_án nhóm a. 2. đầu_tư phục_vụ hoạt_động của cơ_quan nhà_nước , đơn_vị |
|
sự_nghiệp công_lập , tổ_chức chính_trị , tổ_chức chính_trị - xã_hội. 3. đầu_tư |
|
và hỗ_trợ hoạt_động đầu_tư cung_cấp sản_phẩm , dịch_vụ công_ích , phúc_lợi xã_hội. |
|
4. đầu_tư của nhà_nước tham_gia thực_hiện dự_án theo phương_thức đối_tác công |
|
tư. 5. đầu_tư phục_vụ công_tác lập , thẩm_định , quyết_định hoặc phê_duyệt , công_bố |
|
và điều_chỉnh quy_hoạch theo quy_định của pháp_luật về quy_hoạch. 6. cấp bù lãi_suất |
|
tín_dụng ưu_đãi , phí quản_lý. cấp vốn điều_lệ cho các ngân_hàng chính_sách , |
|
quỹ tài_chính nhà_nước_ngoài ngân_sách. hỗ_trợ đầu_tư cho các đối_tượng chính_sách |
|
khác theo quyết_định của thủ_tướng chính_phủ. chính_phủ quy_định trình_tự , thủ_tục |
|
thực_hiện đầu_tư đối_với đối_tượng quy_định tại khoản này. "' |
|
sentences: |
|
- các nước phát_triển khi tham_gia_công_ước chống sa_mạc_hóa của liên_hợp quốc sẽ |
|
có những nghĩa_vụ nào ? |
|
- ban quản_lý các dự_án đầu_tư xây_dựng thanh_tra chính_phủ có cơ_cấu tổ_chức như |
|
thế_nào ? |
|
- đối_tượng đầu_tư công bao_gồm những_ai ? |
|
- source_sentence: 1. công_ước này sẽ bắt_đầu có hiệu_lực với điều_kiện tuân_thủ các |
|
quy_định của khoản 6 điều này , vào ngày đầu tháng tiếp_theo sau khi hết một hạn |
|
kỳ 12 tháng kể từ ngày văn_bản phê_chuẩn , chấp_nhận , chuẩn_y hay gia_nhập thứ |
|
mười được đệ_trình kể_cả những văn_bản chứa_đựng một tuyên_bố được làm chiếu theo |
|
điều 92. 5. mọi quốc_gia thành_viên của công_ước la - haye 1964 về ký_kết_hợp_đồng |
|
mà phê_chuẩn , chấp_nhận hay chuẩn_y công_ước này , hoặc gia_nhập công_ước này |
|
và tuyên_bố hay đã tuyên_bố chiếu theo điều 92 rằng họ không bị ràng_buộc bởi |
|
phần thứ ba của công_ước sẽ hủy bỏ vào lúc phê_chuẩn , chấp_nhận , chuẩn_y hay |
|
gia_nhập , bản công_ước la - haye 1964 về ký_kết_hợp_đồng_bằng cách gửi một thông_cáo |
|
với mục_đích đó cho chính_phủ hà_lan. 6. vì mục_đích của điều này , các sự phê_chuẩn |
|
, chấp_nhận , chuẩn_y và gia_nhập công_ước này của các quốc_gia thành_viên của |
|
công_ước la - haye 1964 về ký_kết_hợp_đồng hay công_ước la - haye 1964 về mua_bán |
|
hàng_hóa chỉ bắt_đầu có hiệu_lực kể từ ngày các thông_báo hủy_bỏ của các quốc_gia |
|
đó đối_với hai công_ước nói trên cũng sẽ có hiệu_lực. người giữ lưu_chiểu bản |
|
công_ước này sẽ thỏa_thuận với chính_phủ hà_lan , vốn là người giữ lưu_chiểu các |
|
công_ước 1964 , để đảm_bảo sự phối_hợp cần_thiết về vấn_đề này |
|
sentences: |
|
- công_ước viên về mua_bán hàng_hóa quốc_tế năm 1980 sẽ bắt_đầu có hiệu_lực với |
|
điều_kiện gì ? |
|
- sau khi giữ người trong trường_hợp khẩn_cấp thì cơ_quan điều_tra phải thông_báo |
|
ngay cho những_ai ? |
|
- đăng_kiểm viên có hành_vi làm sai_lệch kết_quả kiểm_định xe cơ_giới bị phạt tiền |
|
như thế_nào ? |
|
model-index: |
|
- name: vietnamese-bi-encoder-for-SoICT-2024 |
|
results: |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: dim 768 |
|
type: dim_768 |
|
metrics: |
|
- type: cosine_accuracy@1 |
|
value: 0.3883308220324795 |
|
name: Cosine Accuracy@1 |
|
- type: cosine_accuracy@3 |
|
value: 0.6043864054913779 |
|
name: Cosine Accuracy@3 |
|
- type: cosine_accuracy@5 |
|
value: 0.6909425749204755 |
|
name: Cosine Accuracy@5 |
|
- type: cosine_accuracy@10 |
|
value: 0.7849489368826386 |
|
name: Cosine Accuracy@10 |
|
- type: cosine_precision@1 |
|
value: 0.3883308220324795 |
|
name: Cosine Precision@1 |
|
- type: cosine_precision@3 |
|
value: 0.2014621351637926 |
|
name: Cosine Precision@3 |
|
- type: cosine_precision@5 |
|
value: 0.13818851498409507 |
|
name: Cosine Precision@5 |
|
- type: cosine_precision@10 |
|
value: 0.07849489368826384 |
|
name: Cosine Precision@10 |
|
- type: cosine_recall@1 |
|
value: 0.3883308220324795 |
|
name: Cosine Recall@1 |
|
- type: cosine_recall@3 |
|
value: 0.6043864054913779 |
|
name: Cosine Recall@3 |
|
- type: cosine_recall@5 |
|
value: 0.6909425749204755 |
|
name: Cosine Recall@5 |
|
- type: cosine_recall@10 |
|
value: 0.7849489368826386 |
|
name: Cosine Recall@10 |
|
- type: cosine_ndcg@10 |
|
value: 0.5804958772856197 |
|
name: Cosine Ndcg@10 |
|
- type: cosine_mrr@10 |
|
value: 0.5156554362355417 |
|
name: Cosine Mrr@10 |
|
- type: cosine_map@100 |
|
value: 0.5234798575441378 |
|
name: Cosine Map@100 |
|
--- |
|
|
|
# vietnamese-bi-encoder-for-SoICT-2024 |
|
|
|
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. |
|
|
|
## Model Details |
|
|
|
### Model Description |
|
- **Model Type:** Sentence Transformer |
|
- **Base model:** [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) <!-- at revision 84f9d9ada0d1a3c37557398b9ae9fcedcdf40be0 --> |
|
- **Maximum Sequence Length:** 256 tokens |
|
- **Output Dimensionality:** 768 tokens |
|
- **Similarity Function:** Cosine Similarity |
|
- **Training Dataset:** |
|
- json |
|
- **Language:** vn |
|
- **License:** apache-2.0 |
|
|
|
### Model Sources |
|
|
|
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net) |
|
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) |
|
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) |
|
|
|
### Full Model Architecture |
|
|
|
``` |
|
SentenceTransformer( |
|
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel |
|
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) |
|
) |
|
``` |
|
|
|
## Usage |
|
|
|
### Direct Usage (Sentence Transformers) |
|
|
|
First install the Sentence Transformers library: |
|
|
|
```bash |
|
pip install -U sentence-transformers |
|
``` |
|
|
|
Then you can load this model and run inference. |
|
```python |
|
from sentence_transformers import SentenceTransformer |
|
|
|
# Download from the 🤗 Hub |
|
model = SentenceTransformer("maiduchuy321/vietnamese-bi-encoder-for-SoICT-2024") |
|
# Run inference |
|
sentences = [ |
|
'1. công_ước này sẽ bắt_đầu có hiệu_lực với điều_kiện tuân_thủ các quy_định của khoản 6 điều này , vào ngày đầu tháng tiếp_theo sau khi hết một hạn kỳ 12 tháng kể từ ngày văn_bản phê_chuẩn , chấp_nhận , chuẩn_y hay gia_nhập thứ mười được đệ_trình kể_cả những văn_bản chứa_đựng một tuyên_bố được làm chiếu theo điều 92. 5. mọi quốc_gia thành_viên của công_ước la - haye 1964 về ký_kết_hợp_đồng mà phê_chuẩn , chấp_nhận hay chuẩn_y công_ước này , hoặc gia_nhập công_ước này và tuyên_bố hay đã tuyên_bố chiếu theo điều 92 rằng họ không bị ràng_buộc bởi phần thứ ba của công_ước sẽ hủy bỏ vào lúc phê_chuẩn , chấp_nhận , chuẩn_y hay gia_nhập , bản công_ước la - haye 1964 về ký_kết_hợp_đồng_bằng cách gửi một thông_cáo với mục_đích đó cho chính_phủ hà_lan. 6. vì mục_đích của điều này , các sự phê_chuẩn , chấp_nhận , chuẩn_y và gia_nhập công_ước này của các quốc_gia thành_viên của công_ước la - haye 1964 về ký_kết_hợp_đồng hay công_ước la - haye 1964 về mua_bán hàng_hóa chỉ bắt_đầu có hiệu_lực kể từ ngày các thông_báo hủy_bỏ của các quốc_gia đó đối_với hai công_ước nói trên cũng sẽ có hiệu_lực. người giữ lưu_chiểu bản công_ước này sẽ thỏa_thuận với chính_phủ hà_lan , vốn là người giữ lưu_chiểu các công_ước 1964 , để đảm_bảo sự phối_hợp cần_thiết về vấn_đề này', |
|
'công_ước viên về mua_bán hàng_hóa quốc_tế năm 1980 sẽ bắt_đầu có hiệu_lực với điều_kiện gì ?', |
|
'đăng_kiểm viên có hành_vi làm sai_lệch kết_quả kiểm_định xe cơ_giới bị phạt tiền như thế_nào ?', |
|
] |
|
embeddings = model.encode(sentences) |
|
print(embeddings.shape) |
|
# [3, 768] |
|
|
|
# Get the similarity scores for the embeddings |
|
similarities = model.similarity(embeddings, embeddings) |
|
print(similarities.shape) |
|
# [3, 3] |
|
``` |
|
|
|
<!-- |
|
### Direct Usage (Transformers) |
|
|
|
<details><summary>Click to see the direct usage in Transformers</summary> |
|
|
|
</details> |
|
--> |
|
|
|
<!-- |
|
### Downstream Usage (Sentence Transformers) |
|
|
|
You can finetune this model on your own dataset. |
|
|
|
<details><summary>Click to expand</summary> |
|
|
|
</details> |
|
--> |
|
|
|
<!-- |
|
### Out-of-Scope Use |
|
|
|
*List how the model may foreseeably be misused and address what users ought not to do with the model.* |
|
--> |
|
|
|
## Evaluation |
|
|
|
### Metrics |
|
|
|
#### Information Retrieval |
|
* Dataset: `dim_768` |
|
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) |
|
|
|
| Metric | Value | |
|
|:--------------------|:-----------| |
|
| cosine_accuracy@1 | 0.3883 | |
|
| cosine_accuracy@3 | 0.6044 | |
|
| cosine_accuracy@5 | 0.6909 | |
|
| cosine_accuracy@10 | 0.7849 | |
|
| cosine_precision@1 | 0.3883 | |
|
| cosine_precision@3 | 0.2015 | |
|
| cosine_precision@5 | 0.1382 | |
|
| cosine_precision@10 | 0.0785 | |
|
| cosine_recall@1 | 0.3883 | |
|
| cosine_recall@3 | 0.6044 | |
|
| cosine_recall@5 | 0.6909 | |
|
| cosine_recall@10 | 0.7849 | |
|
| cosine_ndcg@10 | 0.5805 | |
|
| cosine_mrr@10 | 0.5157 | |
|
| **cosine_map@100** | **0.5235** | |
|
|
|
<!-- |
|
## Bias, Risks and Limitations |
|
|
|
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* |
|
--> |
|
|
|
<!-- |
|
### Recommendations |
|
|
|
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* |
|
--> |
|
|
|
## Training Details |
|
|
|
### Training Dataset |
|
|
|
#### json |
|
|
|
* Dataset: json |
|
* Size: 107,510 training samples |
|
* Columns: <code>positive</code> and <code>anchor</code> |
|
* Approximate statistics based on the first 1000 samples: |
|
| | positive | anchor | |
|
|:--------|:------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------| |
|
| type | string | string | |
|
| details | <ul><li>min: 2 tokens</li><li>mean: 169.63 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 17.53 tokens</li><li>max: 37 tokens</li></ul> | |
|
* Samples: |
|
| positive | anchor | |
|
|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------| |
|
| <code>" điều 6. mức hưởng chế_độ ốm_đau 1. mức hưởng chế_độ ốm_đau theo quy_định tại khoản 1 điều 26 và điều 27 của luật bảo_hiểm xã_hội được tính như sau : mức hưởng chế_độ ốm_đau = tiền_lương tháng đóng bảo_hiểm xã_hội của tháng liền kề trước khi nghỉ_việc / 24 ngày x 75 ( % ) x số ngày nghỉ_việc được hưởng chế_độ ốm_đau "</code> | <code>mức hưởng chế_độ ốm_đau được pháp_luật quy_định như thế_nào ?</code> | |
|
| <code>huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy. 4. trách_nhiệm tổ_chức huấn_luyện , bồi_dưỡng nghiệp_vụ về phòng cháy và chữa_cháy :. b ) cơ_quan , tổ_chức , cơ_sở hoặc cá_nhân có nhu_cầu được huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy thì đề_nghị cơ_quan công_an hoặc cơ_sở huấn_luyện , hướng_dẫn về nghiệp_vụ phòng cháy và chữa_cháy đã được xác_nhận đủ điều_kiện kinh_doanh dịch_vụ phòng cháy và chữa_cháy tổ_chức huấn_luyện. kinh_phí tổ_chức huấn_luyện do cơ_quan , tổ_chức , cơ_sở hoặc cá_nhân tham_gia huấn_luyện chịu trách_nhiệm. vi_phạm_quy_định về tuyên_truyền , phổ_biến pháp_luật , kiến_thức và huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy , cứu nạn , cứu_hộ. 3. phạt tiền từ 1. 500. 000 đồng đến 3. 000. 000 đồng đối_với hành_vi không tổ_chức huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy , cứu nạn , cứu_hộ theo quy_định</code> | <code>công_ty không thực_hiện bồi_dưỡng nghiệp_vụ phòng cháy chữa_cháy cho người lao_động thì bị xử_phạt như thế_nào ?</code> | |
|
| <code>" điều 73. điều_kiện trước khi chính_thức hoạt_động 1. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải chính_thức hoạt_động trong thời_hạn 12 tháng kể từ ngày được cấp giấy_phép thành_lập và hoạt_động , trừ trường_hợp có sự_kiện bất_khả_kháng hoặc trở_ngại khách_quan. đối_với trường_hợp bất_khả_kháng hoặc trở_ngại khách_quan , doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải báo_cáo bằng văn_bản và được bộ tài_chính chấp_thuận bằng văn_bản về việc gia_hạn thời_gian chính_thức hoạt_động. thời_gian gia_hạn tối_đa là 12 tháng. 2. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải đáp_ứng các quy_định sau đây để chính_thức hoạt_động : a ) chuyển số vốn gửi tại tài_khoản phong_tỏa thành vốn điều_lệ hoặc vốn được cấp. b ) xây_dựng cơ_cấu tổ_chức , bộ_máy quản_lý , kiểm_soát nội_bộ , kiểm_toán nội_bộ , hệ_thống quản_trị rủi_ro phù_hợp với hình_thức hoạt_động theo quy_định của luật này và quy_định khác của pháp_luật có liên_quan. bầu , bổ_nhiệm người đại_diện theo pháp_luật. bầu , bổ_nhiệm các chức_danh đã được bộ tài_chính chấp_thuận về nguyên_tắc quy_định tại khoản 2 điều 70 của luật này. c ) ban_hành các quy_chế quản_lý nội_bộ về tổ_chức hoạt_động , quy_chế nội_bộ về quản_trị rủi_ro và các quy_trình nghiệp_vụ cơ_bản theo quy_định pháp_luật. d ) ký_quỹ đầy_đủ theo quy_định của luật này tại ngân_hàng thương_mại hoạt_động tại việt_nam. đ ) có trụ_sở , cơ_sở vật_chất , kỹ_thuật , hệ_thống công_nghệ phù_hợp với quy_trình nghiệp_vụ về kinh_doanh bảo_hiểm. e ) thực_hiện công_bố nội_dung giấy_phép thành_lập và hoạt_động quy_định tại khoản 2 điều 72 của luật này. 3. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải thông_báo cho bộ tài_chính về việc đáp_ứng các quy_định tại khoản 2 điều này ít_nhất 15 ngày trước ngày chính_thức hoạt_động. bộ tài_chính có quyền đình_chỉ việc chính_thức hoạt_động của doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt_nam khi chưa đáp_ứng các quy_định tại khoản 2 điều này. 4. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam không được tiến_hành hoạt_động_kinh_doanh bảo_hiểm trước ngày chính_thức hoạt_động. "</code> | <code>điều_kiện để doanh_nghiệp bảo_hiểm được chính_thức hoạt_động ?</code> | |
|
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: |
|
```json |
|
{ |
|
"loss": "MultipleNegativesRankingLoss", |
|
"matryoshka_dims": [ |
|
768 |
|
], |
|
"matryoshka_weights": [ |
|
1 |
|
], |
|
"n_dims_per_step": -1 |
|
} |
|
``` |
|
|
|
### Evaluation Dataset |
|
|
|
#### json |
|
|
|
* Dataset: json |
|
* Size: 11,946 evaluation samples |
|
* Columns: <code>positive</code> and <code>anchor</code> |
|
* Approximate statistics based on the first 1000 samples: |
|
| | positive | anchor | |
|
|:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------| |
|
| type | string | string | |
|
| details | <ul><li>min: 16 tokens</li><li>mean: 165.45 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 17.33 tokens</li><li>max: 40 tokens</li></ul> | |
|
* Samples: |
|
| positive | anchor | |
|
|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| |
|
| <code>" điều 15. nguyên_tắc giao_kết_hợp_đồng lao_động 1. tự_nguyện , bình_đẳng , thiện_chí , hợp_tác và trung_thực. 2. tự_do giao_kết_hợp_đồng lao_động nhưng không được trái pháp_luật , thỏa_ước lao_động tập_thể và đạo_đức xã_hội. "</code> | <code>nguyên_tắc giao_kết_hợp_đồng lao_động được đề_cập như thế_nào ?</code> | |
|
| <code>" 1. mỗi chức_danh công_chức cấp xã được bố_trí từ 01 người trở lên , ủy_ban nhân_dân cấp tỉnh quy_định việc bố_trí tăng thêm người ở một_số chức_danh công_chức cấp xã phù_hợp với yêu_cầu , nhiệm_vụ của từng xã , phường , thị_trấn ( trừ chức_danh trưởng công_an xã và chỉ_huy_trưởng ban chỉ_huy quân_sự cấp xã ) nhưng không vượt quá tổng_số cán_bộ , công_chức cấp xã quy_định tại khoản 1 điều 4 nghị_định số 92 / 2009 / nđ - cp đã được sửa_đổi , bổ_sung tại khoản 1 điều 2 nghị_định 34 / 2019 / nđ - cp. 2. những chức_danh công_chức cấp xã có từ 02 người đảm_nhiệm , khi tuyển_dụng , ghi hồ_sơ lý_lịch và sổ bảo_hiểm xã_hội phải thống_nhất theo đúng tên gọi của chức_danh công_chức cấp xã quy_định tại khoản 2 điều 3 nghị_định số 92 / 2009 / nđ - cp. 3. căn_cứ quyết_định của ủy_ban nhân_dân cấp tỉnh về việc giao số_lượng cán_bộ , công_chức cấp xã , chủ_tịch ủy_ban nhân_dân cấp huyện quyết_định tuyển_dụng , phân_công , điều_động , luân_chuyển và bố_trí người đảm_nhiệm các chức_danh công_chức cấp xã phù_hợp với chuyên_ngành đào_tạo và đáp_ứng các yêu_cầu của vị_trí chức_danh công_chức. "</code> | <code>bố_trí số_lượng công_chức cấp xã được pháp_luật quy_định như thế_nào ?</code> | |
|
| <code>“ điều 3. giải_thích từ_ngữ … 4. thu phí dịch_vụ sử_dụng đường_bộ theo hình_thức điện_tử không dừng ( sau đây gọi tắt là thu phí điện_tử không dừng ) là hình_thức thu phí dịch_vụ sử_dụng đường_bộ tự_động , phương_tiện giao_thông đường_bộ không cần phải dừng lại để trả phí dịch_vụ sử_dụng đường_bộ khi tới trạm thu phí dịch_vụ sử_dụng đường_bộ. quá_trình tính_toán phí dịch_vụ sử_dụng đường_bộ được thực_hiện tự_động bởi hệ_thống thu phí dịch_vụ sử_dụng đường_bộ theo hình_thức điện_tử không dừng ( sau đây gọi tắt là hệ_thống thu phí điện_tử không dừng ). ”</code> | <code>thu phí điện_tử không dừng là gì ?</code> | |
|
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: |
|
```json |
|
{ |
|
"loss": "MultipleNegativesRankingLoss", |
|
"matryoshka_dims": [ |
|
768 |
|
], |
|
"matryoshka_weights": [ |
|
1 |
|
], |
|
"n_dims_per_step": -1 |
|
} |
|
``` |
|
|
|
### Training Hyperparameters |
|
#### Non-Default Hyperparameters |
|
|
|
- `eval_strategy`: epoch |
|
- `per_device_train_batch_size`: 24 |
|
- `per_device_eval_batch_size`: 16 |
|
- `gradient_accumulation_steps`: 16 |
|
- `learning_rate`: 2e-05 |
|
- `num_train_epochs`: 5 |
|
- `lr_scheduler_type`: cosine |
|
- `warmup_ratio`: 0.1 |
|
- `fp16`: True |
|
- `load_best_model_at_end`: True |
|
- `optim`: adamw_torch_fused |
|
- `batch_sampler`: no_duplicates |
|
|
|
#### All Hyperparameters |
|
<details><summary>Click to expand</summary> |
|
|
|
- `overwrite_output_dir`: False |
|
- `do_predict`: False |
|
- `eval_strategy`: epoch |
|
- `prediction_loss_only`: True |
|
- `per_device_train_batch_size`: 24 |
|
- `per_device_eval_batch_size`: 16 |
|
- `per_gpu_train_batch_size`: None |
|
- `per_gpu_eval_batch_size`: None |
|
- `gradient_accumulation_steps`: 16 |
|
- `eval_accumulation_steps`: None |
|
- `torch_empty_cache_steps`: None |
|
- `learning_rate`: 2e-05 |
|
- `weight_decay`: 0.0 |
|
- `adam_beta1`: 0.9 |
|
- `adam_beta2`: 0.999 |
|
- `adam_epsilon`: 1e-08 |
|
- `max_grad_norm`: 1.0 |
|
- `num_train_epochs`: 5 |
|
- `max_steps`: -1 |
|
- `lr_scheduler_type`: cosine |
|
- `lr_scheduler_kwargs`: {} |
|
- `warmup_ratio`: 0.1 |
|
- `warmup_steps`: 0 |
|
- `log_level`: passive |
|
- `log_level_replica`: warning |
|
- `log_on_each_node`: True |
|
- `logging_nan_inf_filter`: True |
|
- `save_safetensors`: True |
|
- `save_on_each_node`: False |
|
- `save_only_model`: False |
|
- `restore_callback_states_from_checkpoint`: False |
|
- `no_cuda`: False |
|
- `use_cpu`: False |
|
- `use_mps_device`: False |
|
- `seed`: 42 |
|
- `data_seed`: None |
|
- `jit_mode_eval`: False |
|
- `use_ipex`: False |
|
- `bf16`: False |
|
- `fp16`: True |
|
- `fp16_opt_level`: O1 |
|
- `half_precision_backend`: auto |
|
- `bf16_full_eval`: False |
|
- `fp16_full_eval`: False |
|
- `tf32`: None |
|
- `local_rank`: 0 |
|
- `ddp_backend`: None |
|
- `tpu_num_cores`: None |
|
- `tpu_metrics_debug`: False |
|
- `debug`: [] |
|
- `dataloader_drop_last`: False |
|
- `dataloader_num_workers`: 0 |
|
- `dataloader_prefetch_factor`: None |
|
- `past_index`: -1 |
|
- `disable_tqdm`: False |
|
- `remove_unused_columns`: True |
|
- `label_names`: None |
|
- `load_best_model_at_end`: True |
|
- `ignore_data_skip`: False |
|
- `fsdp`: [] |
|
- `fsdp_min_num_params`: 0 |
|
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} |
|
- `fsdp_transformer_layer_cls_to_wrap`: None |
|
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} |
|
- `deepspeed`: None |
|
- `label_smoothing_factor`: 0.0 |
|
- `optim`: adamw_torch_fused |
|
- `optim_args`: None |
|
- `adafactor`: False |
|
- `group_by_length`: False |
|
- `length_column_name`: length |
|
- `ddp_find_unused_parameters`: None |
|
- `ddp_bucket_cap_mb`: None |
|
- `ddp_broadcast_buffers`: False |
|
- `dataloader_pin_memory`: True |
|
- `dataloader_persistent_workers`: False |
|
- `skip_memory_metrics`: True |
|
- `use_legacy_prediction_loop`: False |
|
- `push_to_hub`: False |
|
- `resume_from_checkpoint`: None |
|
- `hub_model_id`: None |
|
- `hub_strategy`: every_save |
|
- `hub_private_repo`: False |
|
- `hub_always_push`: False |
|
- `gradient_checkpointing`: False |
|
- `gradient_checkpointing_kwargs`: None |
|
- `include_inputs_for_metrics`: False |
|
- `eval_do_concat_batches`: True |
|
- `fp16_backend`: auto |
|
- `push_to_hub_model_id`: None |
|
- `push_to_hub_organization`: None |
|
- `mp_parameters`: |
|
- `auto_find_batch_size`: False |
|
- `full_determinism`: False |
|
- `torchdynamo`: None |
|
- `ray_scope`: last |
|
- `ddp_timeout`: 1800 |
|
- `torch_compile`: False |
|
- `torch_compile_backend`: None |
|
- `torch_compile_mode`: None |
|
- `dispatch_batches`: None |
|
- `split_batches`: None |
|
- `include_tokens_per_second`: False |
|
- `include_num_input_tokens_seen`: False |
|
- `neftune_noise_alpha`: None |
|
- `optim_target_modules`: None |
|
- `batch_eval_metrics`: False |
|
- `eval_on_start`: False |
|
- `use_liger_kernel`: False |
|
- `eval_use_gather_object`: False |
|
- `batch_sampler`: no_duplicates |
|
- `multi_dataset_batch_sampler`: proportional |
|
|
|
</details> |
|
|
|
### Training Logs |
|
<details><summary>Click to expand</summary> |
|
|
|
| Epoch | Step | Training Loss | Validation Loss | dim_768_cosine_map@100 | |
|
|:-------:|:--------:|:-------------:|:---------------:|:----------------------:| |
|
| 0.0357 | 10 | 0.0982 | - | - | |
|
| 0.0714 | 20 | 0.0764 | - | - | |
|
| 0.1071 | 30 | 0.0586 | - | - | |
|
| 0.1429 | 40 | 0.0484 | - | - | |
|
| 0.1786 | 50 | 0.0513 | - | - | |
|
| 0.2143 | 60 | 0.0441 | - | - | |
|
| 0.25 | 70 | 0.0446 | - | - | |
|
| 0.2857 | 80 | 0.0445 | - | - | |
|
| 0.3214 | 90 | 0.0295 | - | - | |
|
| 0.3571 | 100 | 0.0359 | - | - | |
|
| 0.3929 | 110 | 0.035 | - | - | |
|
| 0.4286 | 120 | 0.0364 | - | - | |
|
| 0.4643 | 130 | 0.0323 | - | - | |
|
| 0.5 | 140 | 0.0317 | - | - | |
|
| 0.5357 | 150 | 0.03 | - | - | |
|
| 0.5714 | 160 | 0.0278 | - | - | |
|
| 0.6071 | 170 | 0.026 | - | - | |
|
| 0.6429 | 180 | 0.0324 | - | - | |
|
| 0.6786 | 190 | 0.0316 | - | - | |
|
| 0.7143 | 200 | 0.031 | - | - | |
|
| 0.75 | 210 | 0.0268 | - | - | |
|
| 0.7857 | 220 | 0.0246 | - | - | |
|
| 0.8214 | 230 | 0.0266 | - | - | |
|
| 0.8571 | 240 | 0.0244 | - | - | |
|
| 0.8929 | 250 | 0.0248 | - | - | |
|
| 0.9286 | 260 | 0.0267 | - | - | |
|
| 0.9643 | 270 | 0.0224 | - | - | |
|
| 1.0 | 280 | 0.0305 | 0.0125 | 0.5116 | |
|
| 1.0357 | 290 | 0.0284 | - | - | |
|
| 1.0714 | 300 | 0.0276 | - | - | |
|
| 1.1071 | 310 | 0.0179 | - | - | |
|
| 1.1429 | 320 | 0.0179 | - | - | |
|
| 1.1786 | 330 | 0.0222 | - | - | |
|
| 1.2143 | 340 | 0.0174 | - | - | |
|
| 1.25 | 350 | 0.0146 | - | - | |
|
| 1.2857 | 360 | 0.0181 | - | - | |
|
| 1.3214 | 370 | 0.0113 | - | - | |
|
| 1.3571 | 380 | 0.0131 | - | - | |
|
| 1.3929 | 390 | 0.0097 | - | - | |
|
| 1.4286 | 400 | 0.0137 | - | - | |
|
| 1.4643 | 410 | 0.0119 | - | - | |
|
| 1.5 | 420 | 0.0092 | - | - | |
|
| 1.5357 | 430 | 0.0103 | - | - | |
|
| 1.5714 | 440 | 0.0081 | - | - | |
|
| 1.6071 | 450 | 0.009 | - | - | |
|
| 1.6429 | 460 | 0.0098 | - | - | |
|
| 1.6786 | 470 | 0.009 | - | - | |
|
| 1.7143 | 480 | 0.0098 | - | - | |
|
| 1.75 | 490 | 0.0104 | - | - | |
|
| 1.7857 | 500 | 0.0094 | - | - | |
|
| 1.8214 | 510 | 0.0088 | - | - | |
|
| 1.8571 | 520 | 0.0104 | - | - | |
|
| 1.8929 | 530 | 0.0096 | - | - | |
|
| 1.9286 | 540 | 0.0097 | - | - | |
|
| 1.9643 | 550 | 0.009 | - | - | |
|
| 2.0 | 560 | 0.01 | 0.0109 | 0.5177 | |
|
| 2.0357 | 570 | 0.0106 | - | - | |
|
| 2.0714 | 580 | 0.0106 | - | - | |
|
| 2.1071 | 590 | 0.0079 | - | - | |
|
| 2.1429 | 600 | 0.0079 | - | - | |
|
| 2.1786 | 610 | 0.0088 | - | - | |
|
| 2.2143 | 620 | 0.0088 | - | - | |
|
| 2.25 | 630 | 0.0076 | - | - | |
|
| 2.2857 | 640 | 0.0077 | - | - | |
|
| 2.3214 | 650 | 0.0057 | - | - | |
|
| 2.3571 | 660 | 0.0063 | - | - | |
|
| 2.3929 | 670 | 0.0052 | - | - | |
|
| 2.4286 | 680 | 0.0076 | - | - | |
|
| 2.4643 | 690 | 0.0063 | - | - | |
|
| 2.5 | 700 | 0.0056 | - | - | |
|
| 2.5357 | 710 | 0.007 | - | - | |
|
| 2.5714 | 720 | 0.0053 | - | - | |
|
| 2.6071 | 730 | 0.0051 | - | - | |
|
| 2.6429 | 740 | 0.0052 | - | - | |
|
| 2.6786 | 750 | 0.0055 | - | - | |
|
| 2.7143 | 760 | 0.0066 | - | - | |
|
| 2.75 | 770 | 0.0058 | - | - | |
|
| 2.7857 | 780 | 0.0055 | - | - | |
|
| 2.8214 | 790 | 0.006 | - | - | |
|
| 2.8571 | 800 | 0.0058 | - | - | |
|
| 2.8929 | 810 | 0.0054 | - | - | |
|
| 2.9286 | 820 | 0.006 | - | - | |
|
| 2.9643 | 830 | 0.0061 | - | - | |
|
| 3.0 | 840 | 0.0061 | 0.0105 | 0.5197 | |
|
| 3.0357 | 850 | 0.0063 | - | - | |
|
| 3.0714 | 860 | 0.0062 | - | - | |
|
| 3.1071 | 870 | 0.0058 | - | - | |
|
| 3.1429 | 880 | 0.0044 | - | - | |
|
| 3.1786 | 890 | 0.0061 | - | - | |
|
| 3.2143 | 900 | 0.0052 | - | - | |
|
| 3.25 | 910 | 0.0052 | - | - | |
|
| 3.2857 | 920 | 0.005 | - | - | |
|
| 3.3214 | 930 | 0.0042 | - | - | |
|
| 3.3571 | 940 | 0.0043 | - | - | |
|
| 3.3929 | 950 | 0.0046 | - | - | |
|
| 3.4286 | 960 | 0.0052 | - | - | |
|
| 3.4643 | 970 | 0.0047 | - | - | |
|
| 3.5 | 980 | 0.0042 | - | - | |
|
| 3.5357 | 990 | 0.0053 | - | - | |
|
| 3.5714 | 1000 | 0.0035 | - | - | |
|
| 3.6071 | 1010 | 0.0041 | - | - | |
|
| 3.6429 | 1020 | 0.0037 | - | - | |
|
| 3.6786 | 1030 | 0.0038 | - | - | |
|
| 3.7143 | 1040 | 0.005 | - | - | |
|
| 3.75 | 1050 | 0.004 | - | - | |
|
| 3.7857 | 1060 | 0.0039 | - | - | |
|
| 3.8214 | 1070 | 0.0038 | - | - | |
|
| 3.8571 | 1080 | 0.0042 | - | - | |
|
| 3.8929 | 1090 | 0.0048 | - | - | |
|
| 3.9286 | 1100 | 0.0046 | - | - | |
|
| 3.9643 | 1110 | 0.0051 | - | - | |
|
| **4.0** | **1120** | **0.0045** | **0.0103** | **0.5245** | |
|
| 4.0357 | 1130 | 0.0041 | - | - | |
|
| 4.0714 | 1140 | 0.0048 | - | - | |
|
| 4.1071 | 1150 | 0.0046 | - | - | |
|
| 4.1429 | 1160 | 0.0036 | - | - | |
|
| 4.1786 | 1170 | 0.0056 | - | - | |
|
| 4.2143 | 1180 | 0.0044 | - | - | |
|
| 4.25 | 1190 | 0.0046 | - | - | |
|
| 4.2857 | 1200 | 0.005 | - | - | |
|
| 4.3214 | 1210 | 0.0035 | - | - | |
|
| 4.3571 | 1220 | 0.0039 | - | - | |
|
| 4.3929 | 1230 | 0.0035 | - | - | |
|
| 4.4286 | 1240 | 0.0047 | - | - | |
|
| 4.4643 | 1250 | 0.005 | - | - | |
|
| 4.5 | 1260 | 0.0041 | - | - | |
|
| 4.5357 | 1270 | 0.0044 | - | - | |
|
| 4.5714 | 1280 | 0.0033 | - | - | |
|
| 4.6071 | 1290 | 0.0037 | - | - | |
|
| 4.6429 | 1300 | 0.0037 | - | - | |
|
| 4.6786 | 1310 | 0.0033 | - | - | |
|
| 4.7143 | 1320 | 0.0047 | - | - | |
|
| 4.75 | 1330 | 0.0032 | - | - | |
|
| 4.7857 | 1340 | 0.0039 | - | - | |
|
| 4.8214 | 1350 | 0.0041 | - | - | |
|
| 4.8571 | 1360 | 0.0038 | - | - | |
|
| 4.8929 | 1370 | 0.0045 | - | - | |
|
| 4.9286 | 1380 | 0.0044 | - | - | |
|
| 4.9643 | 1390 | 0.0044 | - | - | |
|
| 5.0 | 1400 | 0.0047 | 0.0102 | 0.5235 | |
|
|
|
* The bold row denotes the saved checkpoint. |
|
</details> |
|
|
|
### Framework Versions |
|
- Python: 3.10.14 |
|
- Sentence Transformers: 3.2.1 |
|
- Transformers: 4.45.1 |
|
- PyTorch: 2.4.0 |
|
- Accelerate: 0.34.2 |
|
- Datasets: 3.0.1 |
|
- Tokenizers: 0.20.0 |
|
|
|
## Citation |
|
|
|
### BibTeX |
|
|
|
#### Sentence Transformers |
|
```bibtex |
|
@inproceedings{reimers-2019-sentence-bert, |
|
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", |
|
author = "Reimers, Nils and Gurevych, Iryna", |
|
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", |
|
month = "11", |
|
year = "2019", |
|
publisher = "Association for Computational Linguistics", |
|
url = "https://arxiv.org/abs/1908.10084", |
|
} |
|
``` |
|
|
|
#### MatryoshkaLoss |
|
```bibtex |
|
@misc{kusupati2024matryoshka, |
|
title={Matryoshka Representation Learning}, |
|
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi}, |
|
year={2024}, |
|
eprint={2205.13147}, |
|
archivePrefix={arXiv}, |
|
primaryClass={cs.LG} |
|
} |
|
``` |
|
|
|
#### MultipleNegativesRankingLoss |
|
```bibtex |
|
@misc{henderson2017efficient, |
|
title={Efficient Natural Language Response Suggestion for Smart Reply}, |
|
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, |
|
year={2017}, |
|
eprint={1705.00652}, |
|
archivePrefix={arXiv}, |
|
primaryClass={cs.CL} |
|
} |
|
``` |
|
|
|
<!-- |
|
## Glossary |
|
|
|
*Clearly define terms in order to be accessible across audiences.* |
|
--> |
|
|
|
<!-- |
|
## Model Card Authors |
|
|
|
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* |
|
--> |
|
|
|
<!-- |
|
## Model Card Contact |
|
|
|
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* |
|
--> |