Add new SentenceTransformer model.

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 1024,
+  "pooling_mode_cls_token": true,
+  "pooling_mode_mean_tokens": false,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,741 @@
+---
+language: []
+library_name: sentence-transformers
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:10524
+- loss:CachedMultipleNegativesRankingLoss
+base_model: comet24082002/finetune_bge_simsce_V1
+datasets: []
+widget:
+- source_sentence: Cấp Giấy chứng nhận quyền sử dụng đất đối với trường hợp đất nông
+    nghiệp có diện tích nhỏ hơn diện tích tối thiểu được quy định như thế nào?
+  sentences:
+  - '"Điều 29. Cấp Giấy chứng nhận quyền sử dụng đất, quyền sở hữu nhà ở và tài sản
+    khác gắn liền với đất đối với trường hợp thửa đất có diện tích nhỏ hơn diện tích
+    tối thiểu
+
+    1. Thửa đất đang sử dụng được hình thành từ trước ngày văn bản quy định của Ủy
+    ban nhân dân cấp tỉnh về diện tích tối thiểu được tách thửa có hiệu lực thi hành
+    mà diện tích thửa đất nhỏ hơn diện tích tối thiểu theo quy định của Ủy ban nhân
+    dân cấp tỉnh nhưng có đủ điều kiện cấp Giấy chứng nhận quyền sử dụng đất, quyền
+    sở hữu nhà ở và tài sản khác gắn liền với đất thì người đang sử dụng đất được
+    cấp Giấy chứng nhận quyền sử dụng đất, quyền sở hữu nhà ở và tài sản khác gắn
+    liền với đất.
+
+    2. Không được công chứng, chứng thực, cấp Giấy chứng nhận quyền sử dụng đất, quyền
+    sở hữu nhà ở và tài sản khác gắn liền với đất và không được làm thủ tục thực hiện
+    các quyền của người sử dụng đất đối với trường hợp tự chia tách thửa đất đã đăng
+    ký, đã được cấp Giấy chứng nhận thành hai hoặc nhiều thửa đất mà trong đó có ít
+    nhất một thửa đất có diện tích nhỏ hơn diện tích tối thiểu theo quy định của Ủy
+    ban nhân dân cấp tỉnh.
+
+    3. Trường hợp người sử dụng đất xin tách thửa đất thành thửa đất có diện tích
+    nhỏ hơn diện tích tối thiểu đồng thời với việc xin được hợp thửa đất đó với thửa
+    đất khác liền kề để tạo thành thửa đất mới có diện tích bằng hoặc lớn hơn diện
+    tích tối thiểu được tách thửa thì được phép tách thửa đồng thời với việc hợp thửa
+    và cấp Giấy chứng nhận quyền sử dụng đất, quyền sở hữu nhà ở và tài sản khác gắn
+    liền với đất cho thửa đất mới."'
+  - 'Trình tự, thủ tục chấp thuận hoạt động mua nợ
+
+    1. Tổ chức tín dụng, chi nhánh ngân hàng nước ngoài có nhu cầu được chấp thuận
+    hoạt động mua nợ lập 01 (một) bộ hồ sơ theo quy định tại Điều 6 Thông tư này gửi
+    qua đường bưu điện hoặc nộp trực tiếp cho Ngân hàng Nhà nước (Cơ quan Thanh tra,
+    giám sát ngân hàng).
+
+    2. Trong thời hạn 40 (bốn mươi) ngày kể từ ngày nhận đủ hồ sơ hợp lệ, Ngân hàng
+    Nhà nước xem xét chấp thuận hoạt động mua nợ cho tổ chức tín dụng, chi nhánh ngân
+    hàng nước ngoài bằng Quyết định sửa đổi, bổ sung Giấy phép. Văn bản này là một
+    bộ phận không tách rời của Giấy phép. Trường hợp từ chối, Ngân hàng Nhà nước thông
+    báo bằng văn bản cho tổ chức tín dụng, chi nhánh ngân hàng nước ngoài và nêu rõ
+    lý do.'
+  - Người có tài sản trưng mua là tổ chức, cá nhân, hộ gia đình trong nước, tổ chức,
+    cá nhân nước ngoài có quyền sở hữu tài sản thuộc đối tượng trưng mua.
+- source_sentence: Xe ô tô kinh doanh vận tải hành khách bằng xe buýt phải đáp ứng
+    điều kiện nào?
+  sentences:
+  - 'Địa bàn quản lý
+
+    1. Đội 1: Quản lý khu vực phía Bắc, từ địa bàn tỉnh Thanh Hóa trở ra phía Bắc.
+
+    2. Đội 2: Quản lý khu vực miền Trung, từ địa bàn tỉnh Nghệ An trở vào đến hết
+    địa bàn tỉnh Ninh Thuận, Lâm Đồng và các tỉnh Tây Nguyên.
+
+    3. Đội 3: Quản lý khu vực miền Nam, từ địa bàn tỉnh Bình Thuận trở vào phía Nam.
+
+    Địa bàn quản lý của các Đội không bao gồm địa bàn trên biển.'
+  - '"Điều 131. Các trường hợp chấm dứt hợp đồng thuê nhà ở
+
+    1. Trường hợp thuê nhà ở thuộc sở hữu nhà nước thì việc chấm dứt hợp đồng thuê
+    nhà được thực hiện khi có một trong các trường hợp quy định tại khoản 1 Điều 84
+    của Luật này.
+
+    2. Trường hợp thuê nhà ở không thuộc sở hữu nhà nước thì việc chấm dứt hợp đồng
+    thuê nhà ở được thực hiện khi có một trong các trường hợp sau đây:
+
+    a) Hợp đồng thuê nhà ở hết hạn; trường hợp trong hợp đồng không xác định thời
+    hạn thì hợp đồng chấm dứt sau 90 ngày, kể từ ngày bên cho thuê nhà ở thông báo
+    cho bên thuê nhà ở biết việc chấm dứt hợp đồng;
+
+    b) Hai bên thỏa thuận chấm dứt hợp đồng;
+
+    c) Nhà ở cho thuê không còn;
+
+    d) Bên thuê nhà ở chết hoặc có tuyên bố mất tích của Tòa án mà khi chết, mất tích
+    không có ai đang cùng chung sống;
+
+    đ) Nhà ở cho thuê bị hư hỏng nặng, có nguy cơ sập đổ hoặc thuộc khu vực đã có
+    quyết định thu hồi đất, giải tỏa nhà ở hoặc có quyết định phá dỡ của cơ quan nhà
+    nước có thẩm quyền; nhà ở cho thuê thuộc diện bị Nhà nước trưng mua, trưng dụng
+    để sử dụng vào các mục đích khác.
+
+    Bên cho thuê phải thông báo bằng văn bản cho bên thuê biết trước 30 ngày về việc
+    chấm dứt hợp đồng thuê nhà ở quy định tại điểm này, trừ trường hợp các bên có
+    thỏa thuận khác;
+
+    e) Chấm dứt theo quy định tại Điều 132 của Luật này."'
+  - 'Kinh doanh vận tải hành khách bằng xe buýt theo tuyến cố định
+
+    ...
+
+    2. Xe ô tô kinh doanh vận tải hành khách bằng xe buýt
+
+    a) Phải có chỗ ưu tiên cho người khuyết tật, người cao tuổi và phụ nữ mang thai;
+
+    b) Phải có phù hiệu “XE BUÝT” và được dán cố định phía bên phải mặt trong kính
+    trước của xe; phải được niêm yết đầy đủ các thông tin trên xe;
+
+    c) Phải có sức chứa từ 17 chỗ trở lên. Vị trí, số chỗ ngồi, chỗ đứng cho hành
+    khách và các quy định kỹ thuật khác đối với xe buýt theo quy chuẩn kỹ thuật do
+    Bộ Giao thông vận tải ban hành. Đối với hoạt động kinh doanh vận tải hành khách
+    bằng xe buýt trên các tuyến có hành trình bắt buộc phải qua cầu có trọng tải cho
+    phép tham gia giao thông từ 05 tấn trở xuống hoặc trên 50% lộ trình tuyến là đường
+    từ cấp IV trở xuống (hoặc đường bộ đô thị có mặt cắt ngang từ 07 mét trở xuống)
+    được sử dụng xe ô tô có sức chứa từ 12 đến dưới 17 chỗ.
+
+    ...'
+- source_sentence: Liên hiệp hợp tác xã phải gửi thông báo về việc tạm ngừng hoạt
+    động đến Phòng Đăng ký kinh doanh bao lâu trước khi tạm ngừng hoạt động?
+  sentences:
+  - "Cơ cấu tổ chức và biên chế\n1. Lãnh đạo\nChi nhánh Trung tâm Internet Việt Nam\
+    \ tại thành phố Hồ Chí Minh có Trưởng Chi nhánh và các Phó Trưởng Chi nhánh.\n\
+    Trưởng Chi nhánh chịu trách nhiệm trước Giám đốc Trung tâm Internet Việt Nam và\
+    \ trước pháp luật về kết quả thực hiện chức năng, nhiệm vụ, quyền hạn được giao.\n\
+    Các Phó Trưởng Chi nhánh giúp Trưởng Chi nhánh điều hành các mặt công tác của\
+    \ Chi nhánh, chịu trách nhiệm trước Trưởng Chi nhánh và trước pháp luật về nhiệm\
+    \ vụ được phân công.\n2. Tổ chức bộ máy\n- Phòng Tổng hợp và Dịch vụ.\n- Phòng\
+    \ Khai thác mạng. \nChức năng, nhiệm vụ và mối quan hệ công tác giữa các phòng\
+    \ của Chi nhánh do Trưởng Chi nhánh xây dựng trình Giám đốc Trung tâm Internet\
+    \ Việt Nam quyết định.\n3. Số lượng người làm việc, lao động của Chi nhánh do\
+    \ Trưởng Chi nhánh xây dựng, trình Giám đốc Trung tâm Internet Việt Nam quyết\
+    \ định."
+  - 'THỦ TỤC HÀNH CHÍNH CẤP TỈNH
+
+    ...
+
+    13. Tạm ngừng hoạt động của liên hiệp hợp tác xã, chi nhánh, văn phòng đại diện,
+    địa điểm kinh doanh của liên hiệp hợp tác xã
+
+    a) Trình tự thực hiện:
+
+    + Trường hợp đăng ký trực tiếp:
+
+    Bước 1: Nộp hồ sơ
+
+    - Khi tạm ngừng hoạt động liên hiệp hợp tác xã, tạm ngừng hoạt động chi nhánh,
+    văn phòng đại diện, địa điểm kinh doanh của liên hiệp hợp tác xã, liên hiệp hợp
+    tác xã gửi thông báo bằng văn bản đến Phòng Đăng ký kinh doanh thuộc Sở Kế hoạch
+    và Đầu tư, nơi đã cấp Giấy chứng nhận đăng ký liên hiệp hợp tác xã, Giấy chứng
+    nhận đăng ký chi nhánh, văn phòng đại diện, địa điểm kinh doanh cho liên hiệp
+    hợp tác xã ít nhất 15 ngày trước khi tạm ngừng hoạt động.
+
+    Bước 2: Tiếp nhận hồ sơ
+
+    - Người đến làm thủ tục nộp bản sao hợp lệ giấy chứng minh nhân dân hoặc hộ chiếu
+    còn hiệu lực.
+
+    ...'
+  - '"Điều 6. Thời hiệu xử lý vi phạm hành chính
+
+    1. Thời hiệu xử phạt vi phạm hành chính được quy định như sau:
+
+    a) Thời hiệu xử phạt vi phạm hành chính là 01 năm, trừ các trường hợp sau đây:
+
+    Vi phạm hành chính về kế toán; hóa đơn; phí, lệ phí; kinh doanh bảo hiểm; quản
+    lý giá; chứng khoán; sở hữu trí tuệ; xây dựng; thủy sản; lâm nghiệp; điều tra,
+    quy hoạch, thăm dò, khai thác, sử dụng nguồn tài nguyên nước; hoạt động dầu khí
+    và hoạt động khoáng sản khác; bảo vệ môi trường; năng lượng nguyên tử; quản lý,
+    phát triển nhà và công sở; đất đai; đê điều; báo chí; xuất bản; sản xuất, xuất
+    khẩu, nhập khẩu, kinh doanh hàng hóa; sản xuất, buôn bán hàng cấm, hàng giả; quản
+    lý lao động ngoài nước thì thời hiệu xử phạt vi phạm hành chính là 02 năm.
+
+    Vi phạm hành chính về thuế thì thời hiệu xử phạt vi phạm hành chính theo quy định
+    của pháp luật về quản lý thuế;
+
+    b) Thời điểm để tính thời hiệu xử phạt vi phạm hành chính quy định tại điểm a
+    khoản 1 Điều này được quy định như sau:
+
+    Đối với vi phạm hành chính đã kết thúc thì thời hiệu được tính từ thời điểm chấm
+    dứt hành vi vi phạm.
+
+    Đối với vi phạm hành chính đang được thực hiện thì thời hiệu được tính từ thời
+    điểm phát hiện hành vi vi phạm;
+
+    c) Trường hợp xử phạt vi phạm hành chính đối với cá nhân,tổ chức do cơ quan tiến
+    hành tố tụng chuyển đến thì thời hiệu được áp dụng theo quy định tại điểm a và
+    điểm b khoản này. Thời gian cơ quan tiến hành tố tụng thụ lý, xem xét được tính
+    vào thời hiệu xử phạt vi phạm hành chính.
+
+    d) Trong thời hạn được quy định tại điểm a và điểm b khoản này mà cá nhân, tổ
+    chức cố tình trốn tránh, cản trở việc xử phạt thì thời hiệu xử phạt vi phạm hành
+    chính được tính lại kể từ thời điểm chấm dứt hành vi trốn tránh, cản trở việc
+    xử phạt."'
+- source_sentence: Thực hiện gia hạn tạm trú cho người đã được cấp giấy miễn thị thực
+    tại Cục Quản lý xuất nhập cảnh, Bộ Công an có phải nộp lệ phí?
+  sentences:
+  - 'Thủ tục: Gia hạn tạm trú cho người đã được cấp giấy miễn thị thực
+
+    ...
+
+    - Phí: 10USD/lần.
+
+    - Tên mẫu đơn, mẫu tờ khai: Tờ khai đề nghị cấp thị thực, gia hạn tạm trú (Mẫu
+    NA5) ban hành kèm theo Thông tư số 04/2015/TT-BCA ngày 05/01/2015.
+
+    - Yêu cầu, điều kiện thực hiện thủ tục hành chính:
+
+    + Có hộ chiếu hoặc giấy tờ có giá trị đi lại quốc tế còn giá trị ít nhất 01 năm.
+
+    + Người nhập cảnh bằng giấy miễn thị thực được cơ quan, tổ chức, cá nhân tại Việt
+    Nam bảo lãnh và có lý do chính đáng.
+
+    + Không thuộc các trường hợp chưa cho nhập cảnh và tạm hoãn xuất cảnh theo quy
+    định tại Điều 21 và Điều 28 của Luật Nhập cảnh, xuất cảnh, quá cảnh, cư trú của
+    người nước ngoài tại Việt Nam.
+
+    ...'
+  - 'Quy định nội bộ về cấp tín dụng, quản lý nợ, chính sách dự phòng rủi ro
+
+    ...
+
+    2. Quy định nội bộ về cấp tín dụng, quản lý nợ tối thiểu phải đáp ứng các yêu
+    cầu sau:
+
+    a) Được xây dựng trên cơ sở thông tin, số liệu khách hàng đã thu thập được, kết
+    quả xếp hạng khách hàng theo hệ thống xếp hạng tín dụng nội bộ;
+
+    b) Được sử dụng thống nhất trong toàn hệ thống, làm cơ sở để thẩm định, phê duyệt
+    cấp tín dụng, quản lý nợ đối với khách hàng cụ thể;
+
+    c) Có quy định chính sách tín dụng đối với khách hàng, trong đó bao gồm quy định
+    về điều kiện cấp tín dụng, hạn mức cấp tín dụng, lãi suất, hồ sơ, trình tự, thủ
+    tục, quy trình thẩm định, phê duyệt cấp tín dụng, quản lý nợ;
+
+    d) Có quy định về quản lý nhằm đảm bảo tuân thủ quy định của Ngân hàng Nhà nước
+    về các tỷ lệ đảm bảo an toàn trong hoạt động của tổ chức tín dụng, chi nhánh ngân
+    hàng nước ngoài;
+
+    đ) Có quy định về trách nhiệm, quyền hạn của các đơn vị, cá nhân trong việc thẩm
+    định, phê duyệt cấp tín dụng, quản lý chất lượng tín dụng, quản lý tài sản bảo
+    đảm;
+
+    e) Có quy định về quy trình, nội dung kiểm tra, kiểm soát trước, trong và sau
+    khi cấp tín dụng;
+
+    g) Có quy định về biện pháp bảo đảm, thẩm định và quản lý tài sản bảo đảm;
+
+    h) Có quy định về định giá tài sản bảo đảm, bao gồm nguyên tắc, định kỳ, phương
+    pháp, quy trình và trách nhiệm của từng đơn vị, cá nhân có liên quan đến việc
+    định giá tài sản bảo đảm theo quy định của pháp luật để đảm bảo giá trị tài sản
+    bảo đảm phù hợp với giá trị thị trường khi tính số tiền trích lập dự phòng cụ
+    thể theo quy định tại Thông tư này;
+
+    i) Có quy định về các biện pháp thu hồi nợ.
+
+    ...'
+  - 'Bảo trì, bảo dưỡng, duy trì hoạt động, nâng cấp, chỉnh sửa Cổng thông tin điện
+    tử Viện kiểm sát nhân dân tối cao
+
+    1. Cổng thông tin điện tử phải được thường xuyên kiểm tra, bảo dưỡng, sửa chữa,
+    giám sát hoạt động để đảm bảo hoạt động liên tục 24 giờ trong tất cả các ngày.
+
+    2. Hằng năm, Văn phòng phối hợp với Cục Thống kê tội phạm và Công nghệ thông tin
+    rà soát và đề xuất phương án nâng cấp, chỉnh sửa Cổng thông tin điện tử cho phù
+    hợp với nhu cầu thực tế. Đồng thời xây dựng phương án trang bị đầy đủ trang thiết
+    bị cần thiết phục vụ cho việc thu thập, xử lý và cập nhật thông tin cho Cổng thông
+    tin điện tử, bảo đảm khai thác hiệu quả hạ tầng công nghệ hiện có.'
+- source_sentence: Các tổ chức nào được phép kinh doanh ngoại hối ở Việt Nam?
+  sentences:
+  - '"Điều 2. Giải thích từ ngữ
+
+    Tại Thông tư này, các từ ngữ dưới đây được hiểu như sau:
+
+    1. Tổ chức tín dụng được phép hoạt động ngoại hối là các ngân hàng, tổ chức tín
+    dụng phi ngân hàng và chi nhánh ngân hàng nước ngoài được kinh doanh, cung ứng
+    dịch vụ ngoại hối (sau đây gọi là tổ chức tín dụng được phép).
+
+    ..."'
+  - '"Điều 24. Mục đích sử dụng các quỹ
+
+    ...
+
+    2. Mục đích sử dụng Quỹ:
+
+    ...
+
+    e) Quỹ phúc lợi tập trung được trích lập từ lợi nhuận sau thuế của Công ty mẹ
+    và nguồn đóng góp khác (nếu có). Quỹ phúc lợi được dùng để:
+
+    - Đầu tư xây dựng hoặc sửa chữa các công trình phúc lợi của Công ty mẹ;
+
+    - Chi cho các hoạt động phúc lợi của người lao động trong Công ty mẹ bao gồm cả
+    người quản lý, kiểm soát viên của Công ty mẹ làm việc theo hợp đồng lao động và
+    người quản lý, kiểm soát viên của Công ty mẹ do nhà nước bổ nhiệm;
+
+    - Góp một phần vốn để đầu tư xây dựng các công trình phúc lợi chung trong ngành
+    hoặc với các đơn vị khác theo hợp đồng;
+
+    - Sử dụng một phần quỹ phúc lợi để trợ cấp khó khăn đột xuất cho những người lao
+    động kể cả những trường hợp về hưu, về mất sức, lâm vào hoàn cảnh khó khăn, không
+    nơi nương tựa hoặc làm công tác từ thiện xã hội;
+
+    - Mức chi sử dụng quỹ do Tổng giám đốc Công ty mẹ quyết định được ghi trong quy
+    chế quản lý, sử dụng quỹ của Công ty mẹ."'
+  - '“1. Trong thời hạn 06 tháng, kể từ ngày nhận được bản án, quyết định dân sự đã
+    có hiệu lực pháp luật của Tòa án nước ngoài mà không có yêu cầu thi hành tại Việt
+    Nam, đương sự, người có quyền, lợi ích hợp pháp liên quan hoặc người đại diện
+    hợp pháp của họ có quyền gửi đơn đến Bộ Tư pháp Việt Nam theo quy định của điều
+    ước quốc tế mà Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên hoặc Tòa án có
+    thẩm quyền của Việt Nam theo quy định của Bộ luật này trong trường hợp điều ước
+    quốc tế mà Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên không quy định hoặc
+    không có điều ước quốc tế liên quan để yêu cầu Tòa án không công nhận bản án,
+    quyết định dân sự đó.
+
+    2. Trường hợp người làm đơn chứng minh được vì sự kiện bất khả kháng hoặc trở
+    ngại khách quan mà không thể gửi đơn đúng thời hạn quy định tại khoản 1 Điều này
+    thì thời gian có sự kiện bất khả kháng hoặc trở ngại khách quan đó không tính
+    vào thời hạn gửi đơn.”'
+pipeline_tag: sentence-similarity
+---
+
+# SentenceTransformer based on comet24082002/finetune_bge_simsce_V1
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [comet24082002/finetune_bge_simsce_V1](https://huggingface.co/comet24082002/finetune_bge_simsce_V1). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [comet24082002/finetune_bge_simsce_V1](https://huggingface.co/comet24082002/finetune_bge_simsce_V1) <!-- at revision af7a9066abe057bf5109dcd3d877747dcc61227c -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 1024 tokens
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
+  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("comet24082002/ft_bge_newLaw_CachedMultipleNegativeRankingLoss_SimSCE_V1_5epochs")
+# Run inference
+sentences = [
+    'Các tổ chức nào được phép kinh doanh ngoại hối ở Việt Nam?',
+    '"Điều 2. Giải thích từ ngữ\nTại Thông tư này, các từ ngữ dưới đây được hiểu như sau:\n1. Tổ chức tín dụng được phép hoạt động ngoại hối là các ngân hàng, tổ chức tín dụng phi ngân hàng và chi nhánh ngân hàng nước ngoài được kinh doanh, cung ứng dịch vụ ngoại hối (sau đây gọi là tổ chức tín dụng được phép).\n..."',
+    '"Điều 24. Mục đích sử dụng các quỹ\n...\n2. Mục đích sử dụng Quỹ:\n...\ne) Quỹ phúc lợi tập trung được trích lập từ lợi nhuận sau thuế của Công ty mẹ và nguồn đóng góp khác (nếu có). Quỹ phúc lợi được dùng để:\n- Đầu tư xây dựng hoặc sửa chữa các công trình phúc lợi của Công ty mẹ;\n- Chi cho các hoạt động phúc lợi của người lao động trong Công ty mẹ bao gồm cả người quản lý, kiểm soát viên của Công ty mẹ làm việc theo hợp đồng lao động và người quản lý, kiểm soát viên của Công ty mẹ do nhà nước bổ nhiệm;\n- Góp một phần vốn để đầu tư xây dựng các công trình phúc lợi chung trong ngành hoặc với các đơn vị khác theo hợp đồng;\n- Sử dụng một phần quỹ phúc lợi để trợ cấp khó khăn đột xuất cho những người lao động kể cả những trường hợp về hưu, về mất sức, lâm vào hoàn cảnh khó khăn, không nơi nương tựa hoặc làm công tác từ thiện xã hội;\n- Mức chi sử dụng quỹ do Tổng giám đốc Công ty mẹ quyết định được ghi trong quy chế quản lý, sử dụng quỹ của Công ty mẹ."',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 1024]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+
+* Size: 10,524 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                             |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               |
+  | details | <ul><li>min: 8 tokens</li><li>mean: 24.54 tokens</li><li>max: 47 tokens</li></ul> | <ul><li>min: 16 tokens</li><li>mean: 267.58 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                        | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
+  |:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Hội viên Hội Văn nghệ dân gian Việt Nam có những quyền hạn gì?</code>                                                                                                   | <code>Quyền của hội viên<br>1. Được cấp thẻ hội viên, được Hội giúp đỡ thực hiện các hoạt động sưu tầm, nghiên cứu văn hóa văn nghệ dân gian hợp pháp, được tham dự các giải thưởng hằng năm của Hội theo quy định của Điều lệ hội và quy định của pháp luật.<br>2. Được tham gia thảo luận, quyết định các chủ trương công tác của Hội theo quy định của Hội; được tham dự Đại hội, ứng cử, đề cử, bầu cử vào các cơ quan lãnh đạo và Ban Kiểm tra Hội theo quy định của Hội; được giới thiệu hội viên mới.<br>3. Được Hội bảo vệ quyền, lợi ích hợp pháp theo quy định của pháp luật, được hưởng các quyền lợi vật chất, tinh thần theo Quy chế về tổ chức và hoạt động của Hội. Được Hội cung cấp thông tin liên quan đến lĩnh vực hoạt động của Hội, được tham gia các hoạt động do Hội tổ chức.<br>4. Có quyền phê bình, chất vấn các cá nhân lãnh đạo và các cơ quan, tổ chức chuyên môn của Hội và yêu cầu được trả lời những nội dung liên quan đến tổ chức, hoạt động của Hội theo quy định của Điều lệ Hội.<br>5. Có quyền đề nghị bằng văn bản được ngừng sinh hoạt Hội theo quy định của Hội.<br>6. Được khen thưởng theo quy định của Hội.<br>7. Được ra khỏi Hội khi xét thấy không thể tiếp tục tham gia sinh hoạt Hội.</code> |
+  | <code>Giáo viên muốn xét thăng hạng giáo viên trung học cơ sở hạng I có cần được cấp chứng chỉ bồi dưỡng hay không?</code>                                                    | <code>Giáo viên trung học cơ sở hạng I - Mã số V.07.04.30<br>...<br>3. Tiêu chuẩn về trình độ đào tạo, bồi dưỡng<br>a) Có bằng thạc sĩ trở lên thuộc ngành đào tạo giáo viên đối với giáo viên trung học cơ sở hoặc có bằng thạc sĩ trở lên chuyên ngành phù hợp với môn học giảng dạy hoặc có bằng thạc sĩ quản lý giáo dục trở lên;<br>b) Có chứng chỉ bồi dưỡng theo tiêu chuẩn chức danh nghề nghiệp giáo viên trung học cơ sở hạng I.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
+  | <code>Trong kinh doanh vận tải hành khách bằng xe buýt theo tuyến cố định, nhân viên xe buýt không giúp đỡ hành khách đi xe là người khuyết tật sẽ bị xử phạt thế nào?</code> | <code>Xử phạt nhân viên phục vụ trên xe buýt, xe vận chuyển hành khách theo tuyến cố định, xe vận chuyển hành khách theo hợp đồng, xe vận chuyển khách du lịch vi phạm quy định về trật tự an toàn giao thông<br>1. Phạt tiền từ 80.000 đồng đến 100.000 đồng đối với một trong các hành vi vi phạm sau đây:<br>a) Không hỗ trợ, giúp đỡ hành khách đi xe là người cao tuổi, trẻ em không tự lên xuống xe được, người khuyết tật vận động hoặc khuyết tật thị giác;<br>...</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
+* Loss: [<code>CachedMultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim"
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `per_device_train_batch_size`: 256
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 5
+- `warmup_ratio`: 0.1
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: no
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 256
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 5
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `batch_sampler`: batch_sampler
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step | Training Loss |
+|:------:|:----:|:-------------:|
+| 0.0476 | 2    | 1.5732        |
+| 0.0952 | 4    | 1.6162        |
+| 0.1429 | 6    | 1.3108        |
+| 0.1905 | 8    | 1.0944        |
+| 0.2381 | 10   | 0.8889        |
+| 0.2857 | 12   | 0.7499        |
+| 0.3333 | 14   | 0.601         |
+| 0.3810 | 16   | 0.565         |
+| 0.4286 | 18   | 0.4791        |
+| 0.4762 | 20   | 0.4314        |
+| 0.5238 | 22   | 0.4619        |
+| 0.5714 | 24   | 0.3768        |
+| 0.6190 | 26   | 0.4344        |
+| 0.6667 | 28   | 0.3748        |
+| 0.7143 | 30   | 0.3172        |
+| 0.7619 | 32   | 0.3971        |
+| 0.8095 | 34   | 0.2847        |
+| 0.8571 | 36   | 0.3426        |
+| 0.9048 | 38   | 0.4206        |
+| 0.9524 | 40   | 0.276         |
+| 1.0    | 42   | 0.1399        |
+| 1.0476 | 44   | 0.2204        |
+| 1.0952 | 46   | 0.2922        |
+| 1.1429 | 48   | 0.2728        |
+| 1.1905 | 50   | 0.2355        |
+| 1.2381 | 52   | 0.2075        |
+| 1.2857 | 54   | 0.2285        |
+| 1.3333 | 56   | 0.2303        |
+| 1.3810 | 58   | 0.2122        |
+| 1.4286 | 60   | 0.2553        |
+| 1.4762 | 62   | 0.2361        |
+| 1.5238 | 64   | 0.2407        |
+| 1.5714 | 66   | 0.2206        |
+| 1.6190 | 68   | 0.2375        |
+| 1.6667 | 70   | 0.2509        |
+| 1.7143 | 72   | 0.1977        |
+| 1.7619 | 74   | 0.2391        |
+| 1.8095 | 76   | 0.1676        |
+| 1.8571 | 78   | 0.3073        |
+| 1.9048 | 80   | 0.2181        |
+| 1.9524 | 82   | 0.265         |
+| 2.0    | 84   | 0.1474        |
+| 2.0476 | 86   | 0.1838        |
+| 2.0952 | 88   | 0.2052        |
+| 2.1429 | 90   | 0.1581        |
+| 2.1905 | 92   | 0.1753        |
+| 2.2381 | 94   | 0.1829        |
+| 2.2857 | 96   | 0.2051        |
+| 2.3333 | 98   | 0.2081        |
+| 2.3810 | 100  | 0.194         |
+| 2.4286 | 102  | 0.1139        |
+| 2.4762 | 104  | 0.2349        |
+| 2.5238 | 106  | 0.1427        |
+| 2.5714 | 108  | 0.1654        |
+| 2.6190 | 110  | 0.187         |
+| 2.6667 | 112  | 0.1615        |
+| 2.7143 | 114  | 0.1933        |
+| 2.7619 | 116  | 0.1608        |
+| 2.8095 | 118  | 0.1548        |
+| 2.8571 | 120  | 0.1659        |
+| 2.9048 | 122  | 0.1498        |
+| 2.9524 | 124  | 0.1927        |
+| 3.0    | 126  | 0.0566        |
+| 3.0476 | 128  | 0.1493        |
+| 3.0952 | 130  | 0.1435        |
+| 3.1429 | 132  | 0.157         |
+| 3.1905 | 134  | 0.1999        |
+| 3.2381 | 136  | 0.1026        |
+| 3.2857 | 138  | 0.1718        |
+| 3.3333 | 140  | 0.1603        |
+| 3.3810 | 142  | 0.1537        |
+| 3.4286 | 144  | 0.1709        |
+| 3.4762 | 146  | 0.1661        |
+| 3.5238 | 148  | 0.1389        |
+| 3.5714 | 150  | 0.1447        |
+| 3.6190 | 152  | 0.1482        |
+| 3.6667 | 154  | 0.1344        |
+| 3.7143 | 156  | 0.1348        |
+| 3.7619 | 158  | 0.1271        |
+| 3.8095 | 160  | 0.1549        |
+| 3.8571 | 162  | 0.124         |
+| 3.9048 | 164  | 0.1555        |
+| 3.9524 | 166  | 0.1215        |
+| 4.0    | 168  | 0.1073        |
+| 4.0476 | 170  | 0.1432        |
+| 4.0952 | 172  | 0.133         |
+| 4.1429 | 174  | 0.1253        |
+| 4.1905 | 176  | 0.1433        |
+| 4.2381 | 178  | 0.1671        |
+| 4.2857 | 180  | 0.0884        |
+| 4.3333 | 182  | 0.1326        |
+| 4.3810 | 184  | 0.1318        |
+| 4.4286 | 186  | 0.1445        |
+| 4.4762 | 188  | 0.1168        |
+| 4.5238 | 190  | 0.1106        |
+| 4.5714 | 192  | 0.1235        |
+| 4.6190 | 194  | 0.1252        |
+| 4.6667 | 196  | 0.1265        |
+| 4.7143 | 198  | 0.1885        |
+| 4.7619 | 200  | 0.1168        |
+| 4.8095 | 202  | 0.1035        |
+| 4.8571 | 204  | 0.1822        |
+| 4.9048 | 206  | 0.1227        |
+| 4.9524 | 208  | 0.1332        |
+| 5.0    | 210  | 0.0698        |
+
+</details>
+
+### Framework Versions
+- Python: 3.10.13
+- Sentence Transformers: 3.0.1
+- Transformers: 4.41.2
+- PyTorch: 2.1.2
+- Accelerate: 0.30.1
+- Datasets: 2.19.2
+- Tokenizers: 0.19.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### CachedMultipleNegativesRankingLoss
+```bibtex
+@misc{gao2021scaling,
+    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup}, 
+    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
+    year={2021},
+    eprint={2101.06983},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,28 @@
+{
+  "_name_or_path": "comet24082002/finetune_bge_simsce_V1",
+  "architectures": [
+    "XLMRobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 1024,
+  "initializer_range": 0.02,
+  "intermediate_size": 4096,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 8194,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 16,
+  "num_hidden_layers": 24,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.41.2",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 250002
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.0.1",
+    "transformers": "4.41.2",
+    "pytorch": "2.1.2"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": null
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:698e2a5b1b1300ae8f155f6fe2ef9863349a0a0222099984acab9fe22f9bf2cb
+size 2271064456

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
+size 5069051

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d9a6af42442a3e3e9f05f618eae0bb2d98ca4f6a6406cb80ef7a4fa865204d61
+size 17083052

tokenizer_config.json

@@ -0,0 +1,62 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "max_length": 512,
+  "model_max_length": 512,
+  "pad_to_multiple_of": null,
+  "pad_token": "<pad>",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "</s>",
+  "sp_model_kwargs": {},
+  "stride": 0,
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "<unk>"
+}