Add new SentenceTransformer model

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,585 @@
+---
+base_model: Tnt3o5/gte_legal_v3
+library_name: sentence-transformers
+pipeline_tag: sentence-similarity
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:120952
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+widget:
+- source_sentence: Ai có quyền quyết_định phong quân hàm_cấp tướng đối_với Chính_ủy
+    Bộ Tư_lệnh Tác_chiến không_gian mạng ?
+  sentences:
+  - Nghĩa_vụ nộp chi_phí cho người làm_chứng Tòa_án căn_cứ vào Khoản_1 và Khoản 2_Điều
+    này quyết_định nghĩa_vụ nộp chi_phí cho người làm_chứng , hoàn_trả lại chi_phí
+    cho các bên đương_sự trong bản_án , quyết_định .
+  - Thủ_tục cấp mã_số AEP Tổ_chức , cá_nhân có các quyền_lợi quốc_tế đối_với tàu_bay
+    mang quốc_tịch Việt_Nam đề_nghị cấp mã_số AEP gửi hồ_sơ trực_tiếp , qua hệ_thống
+    bưu_chính hoặc bằng các hình_thức phù_hợp khác đến Cục Hàng_không Việt_Nam và
+    phải chịu trách_nhiệm về tính trung_thực , chính_xác của các thông_tin ghi trong
+    hồ_sơ .
+  - 'Thẩm_quyền quyết_định đối_với sĩ_quan Thẩm_quyền bổ_nhiệm , miễn_nhiệm , cách_chức
+    , phong , thăng , giáng , tước quân_hàm đối_với sĩ_quan được quy_định như sau
+    : Chủ_tịch_nước bổ_nhiệm , miễn_nhiệm , cách_chức Tổng_Tham_mưu_trưởng , Chủ_nhiệm
+    Tổng_Cục_Chính_trị ; phong , thăng , giáng , tước quân_hàm Cấp tướng , Chuẩn Đô_đốc
+    , Phó Đô_đốc , Đô_đốc Hải_quân ; Thủ_tướng_Chính_phủ bổ_nhiệm , miễn_nhiệm , cách_chức
+    Thứ_trưởng ; Phó_Tổng_Tham_mưu_trưởng , Phó Chủ_nhiệm Tổng_Cục_Chính_trị ; Giám_đốc
+    , Chính_ủy Học_viện Quốc_phòng ; Chủ_nhiệm Tổng_cục , Tổng cục_trưởng , Chính_ủy
+    Tổng_cục ; Tư_lệnh , Chính_ủy Quân_khu ; Tư_lệnh , Chính_ủy Quân_chủng ; Tư_lệnh
+    , Chính_ủy Bộ_đội Biên_phòng ; Tư_lệnh , Chính_ủy Cảnh_sát biển Việt_Nam ; Trưởng_Ban
+    Cơ_yếu Chính_phủ và các chức_vụ khác theo quy_định của Cấp có thẩm_quyền ; Bộ_trưởng_Bộ_Quốc_phòng
+    bổ_nhiệm , miễn_nhiệm , cách_chức các chức_vụ và phong , thăng , giáng , tước
+    các Cấp_bậc quân_hàm còn lại và nâng lương sĩ_quan ; Việc bổ_nhiệm , miễn_nhiệm
+    , cách_chức các chức_vụ thuộc ngành Kiểm_sát , Toà_án , Thi_hành án trong quân_đội
+    được thực_hiện theo quy_định của pháp_luật . Cấp có thẩm_quyền quyết_định bổ_nhiệm
+    đến chức_vụ nào thì có quyền miễn_nhiệm , cách_chức , giáng chức , quyết_định
+    kéo_dài thời_hạn phục_vụ tại_ngũ , điều_động , biệt_phái , giao chức_vụ thấp hơn
+    , cho thôi phục_vụ tại_ngũ , chuyển ngạch và giải ngạch sĩ_quan dự_bị đến chức_vụ
+    đó .'
+- source_sentence: Ai có thẩm_quyền bổ_nhiệm Bộ_trưởng Bộ_Văn_hóa_Thể_thao_và_Du_lịch
+    ?
+  sentences:
+  - 'Thẩm_quyền quyết_định đối_với sĩ_quan Thẩm_quyền bổ_nhiệm , miễn_nhiệm , cách_chức
+    , phong , thăng , giáng , tước quân_hàm đối_với sĩ_quan được quy_định như sau
+    : Chủ_tịch_nước bổ_nhiệm , miễn_nhiệm , cách_chức Tổng_Tham_mưu_trưởng , Chủ_nhiệm
+    Tổng_Cục_Chính_trị ; phong , thăng , giáng , tước quân_hàm Cấp tướng , Chuẩn Đô_đốc
+    , Phó Đô_đốc , Đô_đốc Hải_quân ; Thủ_tướng_Chính_phủ bổ_nhiệm , miễn_nhiệm , cách_chức
+    Thứ_trưởng ; Phó_Tổng_Tham_mưu_trưởng , Phó Chủ_nhiệm Tổng_Cục_Chính_trị ; Giám_đốc
+    , Chính_ủy Học_viện Quốc_phòng ; Chủ_nhiệm Tổng_cục , Tổng cục_trưởng , Chính_ủy
+    Tổng_cục ; Tư_lệnh , Chính_ủy Quân_khu ; Tư_lệnh , Chính_ủy Quân_chủng ; Tư_lệnh
+    , Chính_ủy Bộ_đội Biên_phòng ; Tư_lệnh , Chính_ủy Cảnh_sát biển Việt_Nam ; Trưởng_Ban
+    Cơ_yếu Chính_phủ và các chức_vụ khác theo quy_định của Cấp có thẩm_quyền ; Bộ_trưởng_Bộ_Quốc_phòng
+    bổ_nhiệm , miễn_nhiệm , cách_chức các chức_vụ và phong , thăng , giáng , tước
+    các Cấp_bậc quân_hàm còn lại và nâng lương sĩ_quan ; Việc bổ_nhiệm , miễn_nhiệm
+    , cách_chức các chức_vụ thuộc ngành Kiểm_sát , Toà_án , Thi_hành án trong quân_đội
+    được thực_hiện theo quy_định của pháp_luật . Cấp có thẩm_quyền quyết_định bổ_nhiệm
+    đến chức_vụ nào thì có quyền miễn_nhiệm , cách_chức , giáng chức , quyết_định
+    kéo_dài thời_hạn phục_vụ tại_ngũ , điều_động , biệt_phái , giao chức_vụ thấp hơn
+    , cho thôi phục_vụ tại_ngũ , chuyển ngạch và giải ngạch sĩ_quan dự_bị đến chức_vụ
+    đó .'
+  - “ Vụ Giáo_dục Mầm_non . Vụ Giáo_dục Tiểu_học . Vụ Giáo_dục Trung_học . Vụ Giáo_dục
+    Đại_học . Vụ Giáo_dục dân_tộc . Vụ Giáo_dục thường_xuyên . Vụ Giáo_dục Quốc_phòng
+    và An_ninh . Vụ Giáo_dục Chính_trị và Công_tác học_sinh , sinh_viên . Vụ Giáo_dục
+    thể_chất . Vụ Tổ_chức cán_bộ . Vụ Kế_hoạch - Tài_chính . Vụ Khoa_học , Công_nghệ
+    và Môi_trường . Vụ Pháp_chế . Vụ Thi_đua - Khen_thưởng . Văn_phòng . Thanh_tra
+    . Cục Quản_lý chất_lượng . Cục Nhà_giáo và Cán_bộ quản_lý giáo_dục . Cục Công_nghệ
+    thông_tin . Cục Hợp_tác quốc_tế . Cục Cơ_sở vật_chất . Viện Khoa_học Giáo_dục
+    Việt_Nam . Học_viện Quản_lý giáo_dục . Trường Cán_bộ quản_lý giáo_dục thành_phố
+    Hồ Chí_Minh . Báo Giáo_dục và Thời_đại . Tạp_chí Giáo_dục . Các đơn_vị quy_định
+    từ Khoản_1 đến Khoản 21_Điều này là các đơn_vị giúp Bộ_trưởng thực_hiện chức_năng
+    quản_lý nhà_nước ; các đơn_vị quy_định từ Khoản_22 đến Khoản 26_Điều này là các
+    đơn_vị sự_nghiệp trực_thuộc phục_vụ chức_năng quản_lý nhà_nước của bộ . Bộ_trưởng
+    Bộ_Giáo_dục_và_Đào_tạo trình Thủ_tướng_Chính_phủ ban_hành danh_sách các đơn_vị
+    sự_nghiệp công_lập thuộc bộ . Bộ_trưởng Bộ_Giáo_dục_và_Đào_tạo ban_hành quyết_định
+    quy_định chức_năng , nhiệm_vụ , quyền_hạn và cơ_cấu tổ_chức của các Vụ , Cục ,
+    Thanh_tra , Văn_phòng , đơn_vị sự_nghiệp công_lập và các đơn_vị khác thuộc bộ
+    theo quy_định của pháp_luật . Văn_phòng có 06 phòng . Thanh_tra , Cục Quản_lý
+    chất_lượng , Cục Hợp_tác quốc_tế có 04 phòng . Cục Công_nghệ thông_tin , Cục Nhà_giáo
+    và Cán_bộ quản_lý giáo_dục , Cục Cơ_sở vật_chất có 03 phòng . "
+  - 'Điều Chủ_tịch_nước có những nhiệm_vụ và quyền_hạn sau đây : Đề_nghị Quốc_hội
+    bầu , miễn_nhiệm , bãi_nhiệm Phó_Chủ_tịch_nước , Thủ_tướng_Chính_phủ ; căn_cứ
+    vào nghị_quyết của Quốc_hội , bổ_nhiệm , miễn_nhiệm , cách_chức Phó_thủ_tướng
+    Chính_phủ , Bộ_trưởng và thành_viên khác của Chính_phủ ;'
+- source_sentence: Ai có quyền trở_thành người đại_diện theo pháp_luật của công_ty
+    cổ_phần do tổ_chức làm chủ sở_hữu ?
+  sentences:
+  - '“ Điều Cơ_cấu tổ_chức quản_lý công_ty cổ_phần Trừ trường_hợp pháp_luật về chứng_khoán
+    có quy_định khác , công_ty cổ_phần có quyền lựa_chọn tổ_chức quản_lý và hoạt_động
+    theo một trong hai mô_hình sau đây : Đại hội_đồng cổ_đông , Hội_đồng_quản_trị
+    , Ban kiểm_soát và Giám_đốc hoặc Tổng giám_đốc . Trường_hợp công_ty cổ_phần có
+    dưới 11 cổ_đông và các cổ_đông là tổ_chức sở_hữu dưới 50 % tổng_số cổ_phần của
+    công_ty thì không bắt_buộc phải có Ban kiểm_soát ; Đại hội_đồng cổ_đông , Hội_đồng_quản_trị
+    và Giám_đốc hoặc Tổng giám_đốc . Trường_hợp này ít_nhất 20 % số thành_viên Hội_đồng_quản_trị
+    phải là thành_viên độc_lập và có Ủy_ban kiểm_toán trực_thuộc Hội_đồng_quản_trị
+    . Cơ_cấu tổ_chức , chức_năng , nhiệm_vụ của Ủy_ban kiểm_toán quy_định tại Điều_lệ
+    công_ty hoặc quy_chế_hoạt_động của Ủy_ban kiểm_toán do Hội_đồng_quản_trị ban_hành
+    . Trường_hợp công_ty chỉ có một người đại_diện theo pháp_luật thì Chủ_tịch Hội_đồng_quản_trị
+    hoặc Giám_đốc hoặc Tổng giám_đốc là người đại_diện theo pháp_luật của công_ty
+    . Trường_hợp Điều_lệ chưa có quy_định thì Chủ_tịch Hội_đồng_quản_trị là người
+    đại_diện theo pháp_luật của công_ty . Trường_hợp công_ty có hơn một người đại_diện
+    theo pháp_luật thì Chủ_tịch Hội_đồng_quản_trị và Giám_đốc hoặc Tổng giám_đốc đương_nhiên
+    là người đại_diện theo pháp_luật của công_ty . ”'
+  - '" Điều Nhiệm_vụ , quyền_hạn của Hội_đồng nhân_dân xã Lấy phiếu tín_nhiệm , bỏ_phiếu
+    tín_nhiệm đối_với người giữ chức_vụ do Hội_đồng nhân_dân xã bầu theo quy_định
+    tại Điều_88 và Điều_89 của Luật này . Bãi_nhiệm đại_biểu Hội_đồng nhân_dân xã
+    và chấp_nhận việc đại_biểu Hội_đồng nhân_dân xã xin thôi làm nhiệm_vụ đại_biểu
+    . Bãi_bỏ một phần hoặc toàn_bộ văn_bản trái pháp_luật của Ủy_ban_nhân_dân , Chủ_tịch
+    Ủy_ban_nhân_dân xã . "'
+  - Thẩm_quyền yêu_cầu cung_cấp thông_tin Thủ_trưởng cơ_quan thi_hành_án dân_sự ,
+    Chấp_hành viên có quyền yêu_cầu cơ_quan , tổ_chức đang quản_lý_tài_khoản của người
+    phải thi_hành_án ; cơ_quan , tổ_chức , người sử_dụng lao_động , Bảo_hiểm xã_hội
+    nơi người phải thi_hành_án nhận tiền_lương , tiền công , tiền_lương hưu , tiền
+    trợ_cấp và các thu_nhập hợp_pháp khác cung_cấp thông_tin về tài_khoản , thu_nhập
+    của người phải thi_hành_án để thực_hiện việc thi_hành_án dân_sự .
+- source_sentence: 13 hành_vi bị nghiêm_cấm về cư_trú là gì ?
+  sentences:
+  - Phê_duyệt phương_thức vận_hành hệ_thống điện Phương_thức vận_hành hệ_thống điện
+    phân_phối ( bao_gồm hệ_thống điện phân_phối thuộc quyền điều_khiển của Cấp điều_độ
+    phân_phối tỉnh và Cấp điều_độ phân_phối quận , huyệ Phương_thức vận_hành hệ_thống
+    điện phân_phối năm do Cấp điều_độ phân_phối tỉnh lập trên cơ_sở phương_thức vận_hành
+    hệ_thống điện miền năm đã được duyệt , trình Tổng công_ty Điện_lực hoặc Công_ty
+    Điện_lực tỉnh phê_duyệt ; Phương_thức vận_hành hệ_thống điện phân_phối tháng ,
+    tuần và các phương_thức đặc_biệt do Cấp điều_độ phân_phối tỉnh lập trên cơ_sở
+    phương_thức vận_hành hệ_thống điện miền tháng , tuần và các phương_thức đặc_biệt
+    đã được duyệt , trình Tổng công_ty Điện_lực hoặc Công_ty Điện_lực tỉnh phê_duyệt
+    ; Phương_thức vận_hành hệ_thống điện phân_phối ngày do Cấp điều_độ phân_phối tỉnh
+    lập và phê_duyệt trên cơ_sở phương_thức vận_hành hệ_thống điện phân_phối tuần
+    đã được duyệt .
+  - Thẩm_quyền công_nhận , kỳ công_nhận báo cáo_viên pháp_luật Báo cáo_viên pháp_luật
+    cấp trung_ương là người đang công_tác trong Quân_đội do Bộ_trưởng Bộ_Tư_pháp công_nhận
+    theo đề_nghị của Bộ_trưởng_Bộ_Quốc_phòng . Báo cáo_viên pháp_luật cấp trực_thuộc
+    Bộ Quốc_phòng do Bộ_trưởng_Bộ_Quốc_phòng công_nhận . Báo cáo_viên pháp_luật cấp
+    đơn_vị do thủ_trưởng cơ_quan , đơn_vị cấp trên trực_tiếp công_nhận . Công_nhận
+    báo cáo_viên pháp_luật được thực_hiện vào tháng 6 và tháng 12 hàng năm .
+  - '" Điều Các hành_vi bị nghiêm_cấm về cư_trú Cản_trở công_dân thực_hiện quyền tự_do
+    cư_trú . Lạm_dụng việc sử_dụng thông_tin về nơi thường_trú , nơi tạm_trú làm điều_kiện
+    để hạn_chế quyền , lợi_ích hợp_pháp của công_dân . Đưa , môi_giới , nhận hối_lộ
+    trong việc đăng_ký , quản_lý cư_trú . Không tiếp_nhận , trì_hoãn việc tiếp_nhận
+    hồ_sơ , giấy_tờ , tài_liệu , thông_tin đăng_ký cư_trú hoặc có hành_vi nhũng_nhiễu
+    khác ; không thực_hiện , thực_hiện không đúng thời_hạn đăng_ký cư_trú cho công_dân
+    khi hồ_sơ đủ điều_kiện đăng_ký cư_trú ; xóa đăng_ký thường_trú , đăng_ký tạm_trú
+    trái với quy_định của pháp_luật . Thu , quản_lý , sử_dụng lệ_phí đăng_ký cư_trú
+    trái với quy_định của pháp_luật . Tự đặt ra thời_hạn , thủ_tục , giấy_tờ , tài_liệu
+    , biểu_mẫu trái với quy_định của pháp_luật hoặc làm sai_lệch thông_tin , sổ_sách
+    , hồ_sơ về cư_trú . Cố_ý cấp hoặc từ_chối cấp giấy_tờ , tài_liệu về cư_trú trái
+    với quy_định của pháp_luật . Lợi_dụng việc thực_hiện quyền tự_do cư_trú để xâm_phạm
+    lợi_ích của Nhà_nước , quyền , lợi_ích hợp_pháp của tổ_chức , cá_nhân . Làm giả
+    giấy_tờ , tài_liệu , dữ_liệu về cư_trú ; sử_dụng giấy_tờ , tài_liệu , dữ_liệu
+    giả về cư_trú ; cung_cấp thông_tin , giấy_tờ , tài_liệu sai sự_thật về cư_trú
+    ; khai man điều_kiện , giả_mạo hồ_sơ , giấy_tờ , tài_liệu để được đăng_ký thường_trú
+    , đăng_ký tạm_trú ; mua , bán , Thuê , cho Thuê , mượn , cho mượn , cầm_cố , nhận
+    cầm_cố , hủy_hoại giấy_tờ , tài_liệu về cư_trú . Tổ_chức , kích_động , xúi_giục
+    , lôi_kéo , dụ_dỗ , giúp_sức , cưỡng_bức ngư���i khác vi_phạm_pháp_luật về cư_trú
+    . Giải_quyết cho đăng_ký thường_trú , đăng_ký tạm_trú khi biết rõ người đăng_ký
+    thường_trú , đăng_ký tạm_trú không sinh_sống tại_chỗ ở đó . Đồng_ý cho người khác
+    đăng_ký thường_trú , đăng_ký tạm_trú vào chỗ ở của mình để vụ_lợi hoặc trong thực_tế
+    người đăng_ký thường_trú , đăng_ký tạm_trú không sinh_sống tại_chỗ ở đó . Truy_nhập
+    , khai_thác , hủy_hoại , làm cản_trở , gián_đoạn hoạt_động , thay_đổi , xóa ,
+    phát_tán , cung_cấp trái_phép thông_tin trong Cơ_sở dữ_liệu về cư_trú .'
+- source_sentence: Ai có thẩm quyền_hủy tài_liệu lưu_trữ hết giá_trị của Viện kiểm_sát_nhân_dân
+    tối_cao ?
+  sentences:
+  - 'Thẩm quyền_hủy tài_liệu hết giá_trị của Viện kiểm_sát_nhân_dân các cấp_Lãnh đạo
+    Viện kiểm_sát_nhân_dân tối_cao : Quyết_định hủy hồ_sơ , tài_liệu quản_lý nhà_nước
+    tại kho lưu_trữ cơ_quan Viện kiểm_sát_nhân_dân tối_cao sau khi có văn_bản thẩm_định
+    của Cục Văn_thư và Lưu_trữ Nhà_nước . Cơ_quan điều_tra Viện kiểm_sát_nhân_dân
+    tối_cao , Tạp_chí Kiểm_sát , Báo Bảo_vệ pháp_luật , Trường Đại_học Kiểm_sát Hà_Nội
+    , Trường Đào_tạo , Bồi_dưỡng nghiệp_vụ kiểm_sát tại Thành_phố Hồ Chí_Minh , Viện
+    kiểm_sát_nhân_dân cấp cao : Quyết_định việc hủy hồ_sơ , tài_liệu quản_lý nhà_nước
+    sau khi có văn_bản thẩm_định của Cục Văn_thư và Lưu_trữ Nhà_nước . Viện kiểm_sát_nhân_dân
+    cấp tỉnh , huyện : Quyết_định việc hủy hồ_sơ , tài_liệu quản_lý nhà_nước sau khi
+    có văn_bản thẩm_định của cơ_quan quản_lý nhà_nước về lưu_trữ của tỉnh , thành_phố
+    .'
+  - “ Điều Bồi_thường thiệt_hại do cây_cối gây ra Chủ sở_hữu , người chiếm_hữu , người
+    được giao quản_lý phải bồi_thường thiệt_hại do cây_cối gây ra . ”
+  - 'Chủ_tịch Hội_đồng thành_viên Chủ_tịch Hội_đồng thành_viên là người đại_diện theo
+    pháp_luật của Quỹ . Chủ_tịch Hội_đồng thành_viên có quyền và nghĩa_vụ sau đây
+    : Thay_mặt Hội_đồng thành_viên ký nhận vốn , các nguồn_lực khác do Nhà_nước và
+    các tổ_chức có liên_quan giao cho Quỹ . Thay_mặt Hội_đồng thành_viên ký các văn_bản
+    thuộc thẩm_quyền của Hội_đồng thành_viên . Triệu_tập và chủ_trì cuộc họp Hội_đồng
+    thành_viên hoặc lấy ý_kiến các thành_viên Hội_đồng thành_viên . Phê_duyệt kế_hoạch
+    hoạt_động hằng quý và hằng năm của Hội_đồng thành_viên . Phân_công nhiệm_vụ cho
+    các thành_viên Hội_đồng thành_viên để thực_hiện nhiệm_vụ , quyền_hạn của Hội_đồng
+    thành_viên . Tổ_chức thực_hiện các nhiệm_vụ của Hội_đồng thành_viên , theo_dõi
+    và giám_sát việc thực_hiện các nghị_quyết , quyết_định của Bộ_Kế_hoạch_và_Đầu_tư
+    và của Hội_đồng thành_viên . Tổ_chức giám_sát , trực_tiếp giám_sát và đánh_giá
+    kết_quả_thực_hiện mục_tiêu chiến_lược , kế_hoạch hoạt_động , kết_quả hoạt_động
+    của Quỹ , kết_quả quản_lý điều_hành của Giám_đốc . Trường_hợp cần_thiết , Chủ_tịch
+    Hội_đồng thành_viên ủy_quyền bằng văn_bản cho một trong số các thành_viên Hội_đồng
+    thành_viên hoặc ủy_quyền cho Giám_đốc thực_hiện chức_năng , nhiệm_vụ của mình
+    . Người được ủy_quyền chịu trách_nhiệm trước Chủ_tịch Hội_đồng thành_viên về các
+    công_việc được ủy_quyền . Thực_hiện quyền và nghĩa_vụ khác theo yêu_cầu của Bộ_Kế_hoạch_và_Đầu_tư
+    .'
+---
+
+# SentenceTransformer based on Tnt3o5/gte_legal_v3
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [Tnt3o5/gte_legal_v3](https://huggingface.co/Tnt3o5/gte_legal_v3). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [Tnt3o5/gte_legal_v3](https://huggingface.co/Tnt3o5/gte_legal_v3) <!-- at revision e18916219e6ff436c4c4f42bbe7af1c8fa7e7ae7 -->
+- **Maximum Sequence Length:** 8192 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("Tnt3o5/gte-legal-v5")
+# Run inference
+sentences = [
+    'Ai có thẩm quyền_hủy tài_liệu lưu_trữ hết giá_trị của Viện kiểm_sát_nhân_dân tối_cao ?',
+    'Thẩm quyền_hủy tài_liệu hết giá_trị của Viện kiểm_sát_nhân_dân các cấp_Lãnh đạo Viện kiểm_sát_nhân_dân tối_cao : Quyết_định hủy hồ_sơ , tài_liệu quản_lý nhà_nước tại kho lưu_trữ cơ_quan Viện kiểm_sát_nhân_dân tối_cao sau khi có văn_bản thẩm_định của Cục Văn_thư và Lưu_trữ Nhà_nước . Cơ_quan điều_tra Viện kiểm_sát_nhân_dân tối_cao , Tạp_chí Kiểm_sát , Báo Bảo_vệ pháp_luật , Trường Đại_học Kiểm_sát Hà_Nội , Trường Đào_tạo , Bồi_dưỡng nghiệp_vụ kiểm_sát tại Thành_phố Hồ Chí_Minh , Viện kiểm_sát_nhân_dân cấp cao : Quyết_định việc hủy hồ_sơ , tài_liệu quản_lý nhà_nước sau khi có văn_bản thẩm_định của Cục Văn_thư và Lưu_trữ Nhà_nước . Viện kiểm_sát_nhân_dân cấp tỉnh , huyện : Quyết_định việc hủy hồ_sơ , tài_liệu quản_lý nhà_nước sau khi có văn_bản thẩm_định của cơ_quan quản_lý nhà_nước về lưu_trữ của tỉnh , thành_phố .',
+    '“ Điều Bồi_thường thiệt_hại do cây_cối gây ra Chủ sở_hữu , người chiếm_hữu , người được giao quản_lý phải bồi_thường thiệt_hại do cây_cối gây ra . ”',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+
+* Size: 120,952 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                             |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               |
+  | details | <ul><li>min: 7 tokens</li><li>mean: 21.41 tokens</li><li>max: 50 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 216.87 tokens</li><li>max: 718 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                     | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:---------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>" Giải_thưởng Nguyễn Đức_Cảnh " và " Giải_thưởng Nguyễn Văn_Linh " theo quy_định là giải_thưởng như thế_nào ?</code> | <code>Giải_thưởng “ Giải_thưởng Nguyễn Đức_Cảnh ” của Tổng Liên_đoàn : “ Giải_thưởng Nguyễn Đức_Cảnh ” phần_thưởng cao_quý của Tổng Liên_đoàn Lao_động Việt_Nam được xét , trao tặng_cho công_nhân , lao_động trực_tiếp sản_xuất tại các doanh_nghiệp thuộc các thành_phần kinh_tế có thành_tích xuất_sắc tiêu_biểu nhất trong lao_động_sản_xuất ; có nhiều sáng_kiến cải_tiến kỹ_thuật ; tích_cực đào_tạo , kèm_cặp , bồi_dưỡng , giúp_đỡ đồng_nghiệp nâng_cao trình_độ tay_nghề , chuyên_môn nghiệp_vụ góp_phần xây_dựng doanh_nghiệp , đơn_vị phát_triển bền_vững , xây_dựng giai_cấp công_nhân và tổ_chức Công_đoàn vững_mạnh . “ Giải_thưởng Nguyễn Đức_Cảnh ” được tổ_chức trao_tặng 5 năm 1 lần vào dịp “ Tháng Công_nhân ” của năm tổ_chức Đại_hội Công_đoàn Việt_Nam . Một cá_nhân chỉ được trao_tặng Giải_thưởng 01 lần . Năm tổ_chức trao_tặng “ Giải_thưởng Nguyễn Đức_Cảnh ” , Đoàn Chủ_tịch Tổng Liên_đoàn ban_hành hướng_dẫn riêng về xét , trao_tặng “ Giải_thưởng Nguyễn Đức_Cảnh ” . “ Giải_thưởng Nguyễn Văn_Linh ” của Tổn...</code> |
+  | <code>" Người_lớn ( trên 16 tuổi ) " được hiểu là “ Người_lớn và trẻ_em trên 16 tuổi ”</code>                              | <code>" Khi triển_khai “ Hướng_dẫn quản_lý tại nhà đối_với người mắc COVID - 19 ” , đề_nghị hướng_dẫn , làm rõ một_số nội_dung như sau : . Mục 3 “ Người_lớn ( trên 16 tuổ ” : đề_nghị hướng_dẫn là “ Người_lớn và trẻ_em trên 16 tuổi ” . "</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
+  | <code>03 Quy_chuẩn kỹ_thuật quốc_gia được ban_hành tại Thông_tư 04 là Quy_chuẩn nào ?</code>                               | <code>Ban_hành kèm theo Thông_tư này 03 Quy_chuẩn kỹ_thuật quốc_gia sau : Quy_chuẩn kỹ_thuật quốc_gia về bộ trục bánh_xe của đầu_máy , toa_xe Số_hiệu : QCVN 110 : 2023/BGTVT. Quy_chuẩn kỹ_thuật quốc_gia về bộ móc_nối , đỡ đấm của đầu_máy , toa_xe Số_hiệu : QCVN 111 : 2023/BGTVT. Quy_chuẩn kỹ_thuật quốc_gia về van hãm sử_dụng trên đầu_máy , toa_xe Số_hiệu : QCVN 112 : 2023/BGTVT.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Evaluation Dataset
+
+#### Unnamed Dataset
+
+
+* Size: 5,109 evaluation samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                             |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               |
+  | details | <ul><li>min: 7 tokens</li><li>mean: 21.41 tokens</li><li>max: 50 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 216.87 tokens</li><li>max: 718 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                     | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:---------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>" Giải_thưởng Nguyễn Đức_Cảnh " và " Giải_thưởng Nguyễn Văn_Linh " theo quy_định là giải_thưởng như thế_nào ?</code> | <code>Giải_thưởng “ Giải_thưởng Nguyễn Đức_Cảnh ” của Tổng Liên_đoàn : “ Giải_thưởng Nguyễn Đức_Cảnh ” phần_thưởng cao_quý của Tổng Liên_đoàn Lao_động Việt_Nam được xét , trao tặng_cho công_nhân , lao_động trực_tiếp sản_xuất tại các doanh_nghiệp thuộc các thành_phần kinh_tế có thành_tích xuất_sắc tiêu_biểu nhất trong lao_động_sản_xuất ; có nhiều sáng_kiến cải_tiến kỹ_thuật ; tích_cực đào_tạo , kèm_cặp , bồi_dưỡng , giúp_đỡ đồng_nghiệp nâng_cao trình_độ tay_nghề , chuyên_môn nghiệp_vụ góp_phần xây_dựng doanh_nghiệp , đơn_vị phát_triển bền_vững , xây_dựng giai_cấp công_nhân và tổ_chức Công_đoàn vững_mạnh . “ Giải_thưởng Nguyễn Đức_Cảnh ” được tổ_chức trao_tặng 5 năm 1 lần vào dịp “ Tháng Công_nhân ” của năm tổ_chức Đại_hội Công_đoàn Việt_Nam . Một cá_nhân chỉ được trao_tặng Giải_thưởng 01 lần . Năm tổ_chức trao_tặng “ Giải_thưởng Nguyễn Đức_Cảnh ” , Đoàn Chủ_tịch Tổng Liên_đoàn ban_hành hướng_dẫn riêng về xét , trao_tặng “ Giải_thưởng Nguyễn Đức_Cảnh ” . “ Giải_thưởng Nguyễn Văn_Linh ” của Tổn...</code> |
+  | <code>" Người_lớn ( trên 16 tuổi ) " được hiểu là “ Người_lớn và trẻ_em trên 16 tuổi ”</code>                              | <code>" Khi triển_khai “ Hướng_dẫn quản_lý tại nhà đối_với người mắc COVID - 19 ” , đề_nghị hướng_dẫn , làm rõ một_số nội_dung như sau : . Mục 3 “ Người_lớn ( trên 16 tuổ ” : đề_nghị hướng_dẫn là “ Người_lớn và trẻ_em trên 16 tuổi ” . "</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
+  | <code>03 Quy_chuẩn kỹ_thuật quốc_gia được ban_hành tại Thông_tư 04 là Quy_chuẩn nào ?</code>                               | <code>Ban_hành kèm theo Thông_tư này 03 Quy_chuẩn kỹ_thuật quốc_gia sau : Quy_chuẩn kỹ_thuật quốc_gia về bộ trục bánh_xe của đầu_máy , toa_xe Số_hiệu : QCVN 110 : 2023/BGTVT. Quy_chuẩn kỹ_thuật quốc_gia về bộ móc_nối , đỡ đấm của đầu_máy , toa_xe Số_hiệu : QCVN 111 : 2023/BGTVT. Quy_chuẩn kỹ_thuật quốc_gia về van hãm sử_dụng trên đầu_máy , toa_xe Số_hiệu : QCVN 112 : 2023/BGTVT.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `per_device_train_batch_size`: 16
+- `gradient_accumulation_steps`: 8
+- `learning_rate`: 1e-05
+- `weight_decay`: 0.01
+- `max_grad_norm`: 0.2
+- `num_train_epochs`: 5
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `fp16`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `gradient_checkpointing`: True
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: no
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 16
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 8
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 1e-05
+- `weight_decay`: 0.01
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 0.2
+- `num_train_epochs`: 5
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: True
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch  | Step | Training Loss |
+|:------:|:----:|:-------------:|
+| 0.5291 | 500  | 1.2711        |
+| 1.0578 | 1000 | 1.0203        |
+| 1.5869 | 1500 | 1.0266        |
+| 2.1156 | 2000 | 0.8704        |
+| 2.6447 | 2500 | 0.8485        |
+| 3.1734 | 3000 | 0.7169        |
+
+
+### Framework Versions
+- Python: 3.10.14
+- Sentence Transformers: 3.3.0
+- Transformers: 4.45.1
+- PyTorch: 2.4.0
+- Accelerate: 0.34.2
+- Datasets: 3.0.1
+- Tokenizers: 0.20.0
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,50 @@
+{
+  "_name_or_path": "./checkpoint-3000",
+  "architectures": [
+    "NewModel"
+  ],
+  "attention_probs_dropout_prob": 0.0,
+  "auto_map": {
+    "AutoConfig": "configuration.NewConfig",
+    "AutoModel": "Alibaba-NLP/new-impl--modeling.NewModel",
+    "AutoModelForMaskedLM": "Alibaba-NLP/new-impl--modeling.NewForMaskedLM",
+    "AutoModelForMultipleChoice": "Alibaba-NLP/new-impl--modeling.NewForMultipleChoice",
+    "AutoModelForQuestionAnswering": "Alibaba-NLP/new-impl--modeling.NewForQuestionAnswering",
+    "AutoModelForSequenceClassification": "Alibaba-NLP/new-impl--modeling.NewForSequenceClassification",
+    "AutoModelForTokenClassification": "Alibaba-NLP/new-impl--modeling.NewForTokenClassification"
+  },
+  "classifier_dropout": 0.0,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "LABEL_0"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "label2id": {
+    "LABEL_0": 0
+  },
+  "layer_norm_eps": 1e-12,
+  "layer_norm_type": "layer_norm",
+  "logn_attention_clip1": false,
+  "logn_attention_scale": false,
+  "max_position_embeddings": 8192,
+  "model_type": "new",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pack_qkv": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "rope",
+  "rope_scaling": {
+    "factor": 8.0,
+    "type": "ntk"
+  },
+  "rope_theta": 20000,
+  "torch_dtype": "float32",
+  "transformers_version": "4.45.2",
+  "type_vocab_size": 1,
+  "unpad_inputs": false,
+  "use_memory_efficient_attention": false,
+  "vocab_size": 262789
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.2.1",
+    "transformers": "4.45.2",
+    "pytorch": "2.4.0+cu121"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

configuration.py

@@ -0,0 +1,145 @@
+# coding=utf-8
+# Copyright 2024 The GTE Team Authors and Alibaba Group.
+# Copyright (c) 2018, NVIDIA CORPORATION.  All rights reserved.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+""" NEW model configuration"""
+from transformers.configuration_utils import PretrainedConfig
+from transformers.utils import logging
+
+logger = logging.get_logger(__name__)
+
+
+class NewConfig(PretrainedConfig):
+    r"""
+    This is the configuration class to store the configuration of a [`NewModel`] or a [`TFNewModel`]. It is used to
+    instantiate a NEW model according to the specified arguments, defining the model architecture. Instantiating a
+    configuration with the defaults will yield a similar configuration to that of the NEW
+    [izhx/new-base-en](https://huggingface.co/izhx/new-base-en) architecture.
+
+    Configuration objects inherit from [`PretrainedConfig`] and can be used to control the model outputs. Read the
+    documentation from [`PretrainedConfig`] for more information.
+
+
+    Args:
+        vocab_size (`int`, *optional*, defaults to 30522):
+            Vocabulary size of the NEW model. Defines the number of different tokens that can be represented by the
+            `inputs_ids` passed when calling [`NewModel`] or [`TFNewModel`].
+        hidden_size (`int`, *optional*, defaults to 768):
+            Dimensionality of the encoder layers and the pooler layer.
+        num_hidden_layers (`int`, *optional*, defaults to 12):
+            Number of hidden layers in the Transformer encoder.
+        num_attention_heads (`int`, *optional*, defaults to 12):
+            Number of attention heads for each attention layer in the Transformer encoder.
+        intermediate_size (`int`, *optional*, defaults to 3072):
+            Dimensionality of the "intermediate" (often named feed-forward) layer in the Transformer encoder.
+        hidden_act (`str` or `Callable`, *optional*, defaults to `"gelu"`):
+            The non-linear activation function (function or string) in the encoder and pooler. If string, `"gelu"`,
+            `"relu"`, `"silu"` and `"gelu_new"` are supported.
+        hidden_dropout_prob (`float`, *optional*, defaults to 0.1):
+            The dropout probability for all fully connected layers in the embeddings, encoder, and pooler.
+        attention_probs_dropout_prob (`float`, *optional*, defaults to 0.1):
+            The dropout ratio for the attention probabilities.
+        max_position_embeddings (`int`, *optional*, defaults to 512):
+            The maximum sequence length that this model might ever be used with. Typically set this to something large
+            just in case (e.g., 512 or 1024 or 2048).
+        type_vocab_size (`int`, *optional*, defaults to 2):
+            The vocabulary size of the `token_type_ids` passed when calling [`NewModel`] or [`TFNewModel`].
+        initializer_range (`float`, *optional*, defaults to 0.02):
+            The standard deviation of the truncated_normal_initializer for initializing all weight matrices.
+        layer_norm_eps (`float`, *optional*, defaults to 1e-12):
+            The epsilon used by the layer normalization layers.
+        position_embedding_type (`str`, *optional*, defaults to `"rope"`):
+            Type of position embedding. Choose one of `"absolute"`, `"rope"`.
+        rope_theta (`float`, *optional*, defaults to 10000.0):
+            The base period of the RoPE embeddings.
+        rope_scaling (`Dict`, *optional*):
+            Dictionary containing the scaling configuration for the RoPE embeddings. Currently supports two scaling
+            strategies: linear and dynamic. Their scaling factor must be a float greater than 1. The expected format is
+            `{"type": strategy name, "factor": scaling factor}`. When using this flag, don't update
+            `max_position_embeddings` to the expected new maximum. See the following thread for more information on how
+            these scaling strategies behave:
+            https://www.reddit.com/r/LocalLLaMA/comments/14mrgpr/dynamically_scaled_rope_further_increases/. This is an
+            experimental feature, subject to breaking API changes in future versions.
+        classifier_dropout (`float`, *optional*):
+            The dropout ratio for the classification head.
+
+    Examples:
+
+    ```python
+    >>> from transformers import NewConfig, NewModel
+
+    >>> # Initializing a NEW izhx/new-base-en style configuration
+    >>> configuration = NewConfig()
+
+    >>> # Initializing a model (with random weights) from the izhx/new-base-en style configuration
+    >>> model = NewModel(configuration)
+
+    >>> # Accessing the model configuration
+    >>> configuration = model.config
+    ```"""
+
+    model_type = "new"
+
+    def __init__(
+        self,
+        vocab_size=30528,
+        hidden_size=768,
+        num_hidden_layers=12,
+        num_attention_heads=12,
+        intermediate_size=3072,
+        hidden_act="gelu",
+        hidden_dropout_prob=0.1,
+        attention_probs_dropout_prob=0.0,
+        max_position_embeddings=2048,
+        type_vocab_size=1,
+        initializer_range=0.02,
+        layer_norm_type='layer_norm',
+        layer_norm_eps=1e-12,
+        # pad_token_id=0,
+        position_embedding_type="rope",
+        rope_theta=10000.0,
+        rope_scaling=None,
+        classifier_dropout=None,
+        pack_qkv=True,
+        unpad_inputs=False,
+        use_memory_efficient_attention=False,
+        logn_attention_scale=False,
+        logn_attention_clip1=False,
+        **kwargs,
+    ):
+        super().__init__(**kwargs)
+
+        self.vocab_size = vocab_size
+        self.hidden_size = hidden_size
+        self.num_hidden_layers = num_hidden_layers
+        self.num_attention_heads = num_attention_heads
+        self.hidden_act = hidden_act
+        self.intermediate_size = intermediate_size
+        self.hidden_dropout_prob = hidden_dropout_prob
+        self.attention_probs_dropout_prob = attention_probs_dropout_prob
+        self.max_position_embeddings = max_position_embeddings
+        self.type_vocab_size = type_vocab_size
+        self.initializer_range = initializer_range
+        self.layer_norm_type = layer_norm_type
+        self.layer_norm_eps = layer_norm_eps
+        self.position_embedding_type = position_embedding_type
+        self.rope_theta = rope_theta
+        self.rope_scaling = rope_scaling
+        self.classifier_dropout = classifier_dropout
+
+        self.pack_qkv = pack_qkv
+        self.unpad_inputs = unpad_inputs
+        self.use_memory_efficient_attention = use_memory_efficient_attention
+        self.logn_attention_scale = logn_attention_scale
+        self.logn_attention_clip1 = logn_attention_clip1

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:767b98c40875956b782bc2556891496d4f4aeab6c074fd9b03ebcfa79fd8460d
+size 1260628248

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 8192,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6171493e573dfdb60b6f0d6d2753e69270d3a860cd109a5c1d2b1778c28d6052
+size 19573136