metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - loss:ContrastiveLoss
base_model: ai-forever/ruBert-base
widget:
  - source_sentence: >-
      Шатов вдруг прокричал кратким и отчаянным криком; но ему кричать не дали:
      Петр Степанович аккуратно и твердо наставил ему револьвер прямо в лоб,
      крепко в упор и – спустил курок. Выстрел, кажется, был не очень громок, по
      крайней мере в Скворешниках ничего не слыхали. Слышал, разумеется,
      Шигалев, вряд ли успевший отойти шагов триста, – слышал и крик и выстрел,
      но, по его собственному потом свидетельству, не повернулся и даже не
      остановился. Смерть произошла почти мгновенно. Полную распорядительность –
      не думаю, чтоб и хладнокровие, – сохранил в себе один только Петр
      Степанович. Присев на корточки, он поспешно, но твердою рукой обыскал в
      карманах убитого. Денег не оказалось (портмоне остался под подушкой у
      Марьи Игнатьевны). Нашлись две-три бумажки, пустые: одна конторская
      записка, заглавие какой-то книги и один старый заграничный трактирный
      счет, бог знает почему уцелевший два года в его кармане. Бумажки Петр
      Степанович переложил в свой карман и, заметив вдруг, что все столпились,
      смотрят на труп и ничего не делают, начал злостно и невежливо браниться и
      понукать. Толкаченко и Эркель, опомнившись, побежали и мигом принесли из
      грота еще с утра запасенные ими там два камня, каждый фунтов по двадцати
      весу, уже приготовленные, то есть крепко и прочно обвязанные веревками.
    sentences:
      - >-
        Черт таким же порядком отправился вслед за нею. Но так как это животное
        проворнее всякого франта в чулках, то не мудрено, что он наехал при
        самом входе в трубу на шею своей любовницы, и оба очутились в просторной
        печке между горшками. Путешественница отодвинула потихоньку заслонку,
        поглядеть, не назвал ли сын ее Вакула в хату гостей, но, увидевши, что
        никого не было, выключая только мешки, которые лежали посреди хаты,
        вылезла из печки, скинула теплый кожух, оправилась, и никто бы не мог
        узнать, что она за минуту назад ездила на метле. Мать кузнеца Вакулы
        имела от роду не больше сорока лет. Она была ни хороша, ни дурна собою.
        Трудно и быть хорошею в такие годы. Однако ж она так умела причаровать к
        себе самых степенных козаков (которым, не мешает, между прочим,
        заметить, мало было нужды до красоты), что к ней хаживал и голова, и
        дьяк Осип Никифорович (конечно, если дьячихи не было дома), и козак
        Корний Чуб, и козак Касьян Свербыгуз. И, к чести ее сказать, она умела
        искусно обходиться с ними. Ни одному из них и в ум не приходило, что у
        него есть соперник.
      - >-
        Поднимаясь в свою квартиру, он заметил, что Настасья, оторвавшись от
        самовара, пристально следит за ним и провожает его глазами. «Уж нет ли
        кого у меня?» – подумал он. Ему с отвращением померещился Порфирий. Но,
        дойдя до своей комнаты и отворив ее, он увидел Дунечку. Она сидела
        одна-одинешенька, в глубоком раздумье и, кажется, давно уже ждала его.
        Он остановился на пороге. Она привстала с дивана в испуге и выпрямилась
        пред ним. Ее взгляд, неподвижно устремленный на него, изображал ужас и
        неутолимую скорбь.
      - >-
        Девушки между тем, дружно взявшись за руки, полетели, как вихорь, с
        санками по скрыпучему снегу. Множество, шаля, садились на санки; другие
        взбирались на самого голову. Голова решился сносить все. Наконец
        приехали, отворили настежь двери в сенях и хате и с хохотом втащили
        мешок. — Посмотрим, что-то лежит тут, — закричали все, бросившись
        развязывать. Тут икотка, которая не переставала мучить голову во все
        время сидения его в мешке, так усилилась, что он начал икать и кашлять
        во все горло. — Ах, тут сидит кто-то!
  - source_sentence: >-
      И вот, Я подниму руку Мою на них, и они сделаются добычею рабов своих, и
      тогда узнаете, что Господь Саваоф послал Меня. Ликуй и веселись, дщерь
      Сиона! Ибо вот, Я приду и поселюсь посреди тебя, говорит Господь. И
      прибегнут к Господу многие народы в тот день, и будут Моим народом; и Я
      поселюсь посреди тебя, и узнаешь, что Господь Саваоф послал Меня к тебе.
      Тогда Господь возьмет во владениеИуду, Свой удел на святой земле, и снова
      изберет Иерусалим. Да молчит всякая плоть пред лицем Господа! Ибо Он
      поднимается от святаго жилища Своего.
    sentences:
      - >-
        Однако, она умела держать себя с таким тактом и достоинством, что никто
        не мог похвастать ни малейшей близостью с ней. Даже острые
        провинциальные языки не могли уязвить ее никакой сплетней. Я изнывал от
        своей любви. Больше всего меня мучила невозможность открыто в ней
        признаться. Я готов был на все на свете, чтобы только упасть на колени
        пред Еленой Григорьевной и сказать ей громко: "я вас люблю". Молодость
        немного похожа на опьянение. Ради того, чтобы полчаса побыть наедине с
        той, кого я любил, я решился на средство отчаянное. Зима была в тот год
        снежная. На святках, что ни день, то начинала крутиться метель. Я выбрал
        вечер, когда вьюга была особенно злая, приказал оседлать коня и выехал в
        поле. Не знаю, как я не погиб тогда. Везде в двух шагах словно стояла
        серая стена. На дороге снег был чуть не по колено. Двадцать раз я
        сбивался с пути. Двадцать раз моя лошадь отказывалась идти дальше. Со
        мной была фляжка коньяку, и только потому я не замерз. Десять верст я
        ехал чуть ли не три часа. Прямо каким-то чудом я добрался до усадьбы С.
        Было уже поздно и я едва достучался. Сторож, узнав меня, ахнул. Я был
        весь в снегу, заледеневший, словно ряженый. Конечно, у меня была готова
        история, чтобы объяснить свое появление.
      - >-
        Несчастная любовь, долги, женитьба, творчество, конфликт с государством.
        Плюс, как говорил Достоевский, — оттенок высшего значения. Я думал, что
        в этих занятиях растворятся мои невзгоды. Так уже бывало раньше, в пору
        литературного становления. Вроде бы это называется — сублимация. Когда
        пытаешься возложить на литературу ответственность за свои грехи. Сочинил
        человек «Короля Лира» и может после этого год не вытаскивать шпагу...
        Вскоре отослал жене семьдесят рублей. Купил себе рубашку — поступок для
        меня беспрецедентный. Доходили слухи о каких-то публикациях на Западе. Я
        старался об этом не думать. Ведь мне безразлично, что делается на том
        свете. Прямо так и скажу, если вызовут... Кроме того, я отправил
        несколько долговых писем.
      - >-
        В одиннадцатом году, в первый день первого месяца, было ко мне слово
        Господне: сын человеческий! за то, что Тир говорит о Иерусалиме: „а! а!
        он сокрушен – врата народов; он обращается ко мне; наполнюсь; он
        опустошен", – за то, так говорит Господь Бог: вот, Я – на тебя, Тир, и
        подниму на тебя многие народы, как море поднимает волны свои. И разобьют
        стены Тира и разрушат башни его; и вымету из него прах его и сделаю его
        голою скалою. Местом для расстилания сетей будет он среди моря; ибо Я
        сказал это, говорит Господь Бог: и будет он на расхищение народам. А
        дочери его, которые на земле, убиты будут мечом,и узнают, что Я Господь.
        Ибо так говорит Господь Бог: вот, Я приведу против Тира от
        севераНавуходоносора, царя Вавилонского, царя царей, с конями и с
        колесницами, и со всадниками, и с войском, и с многочисленным народом.
  - source_sentence: >-
      По лицу его дочки заметно было, что ей не слишком приятно тереться около
      возов с мукою и пшеницею. Ей бы хотелось туда, где под полотняными ятками
      нарядно развешаны красные ленты, серьги, оловянные, медные кресты и
      дукаты.
    sentences:
      - >-
        Надоело ходить в рваных чулках. Надоело радоваться говяжьим
        сарделькам... Что тебя удерживает? Эрмитаж, Нева, березы? — Березы меня
        совершенно не волнуют. — Так что же? — Язык. На чужом языке мы теряем
        восемьдесят процентов своей личности. Мы утрачиваем способность шутить,
        иронизировать. Одно это меня в ужас приводит. — А мне вот не до шуток.
        Подумай о Маше. Представь себе, что ее ожидает. — Ты все ужасно
        преувеличиваешь. Миллионы людей живут, работают и абсолютно счастливы.
      - >-
        Она сидела в широком кресле, в ночном капоте, перед своим столом,
        задумавшись, вспоминая. Она не слыхала, как я вошел. Несколько минут я
        стоял в полутьме, не смея сделать ни шага вперед. Вдруг, почувствовав
        мое присутствие или заслышав какой-нибудь шум, Елена Григорьевна
        обернулась. Она увидела меня и задрожала. Моя проделка удалась лучше,
        чем я мог ожидать. Она приняла меня за своего покойного мужа. Со слабым
        криком, привстав с кресла, она протянула ко мне руки.
      - >-
        В молодости своей он был капитан и крикун, употреблялся и по штатским
        делам, мастер был хорошо высечь, был и расторопен, и щеголь, и глуп; но
        в старости своей он слил в себе все эти резкие особенности в какую-то
        тусклую неопределенность. Он был уже вдов, был уже в отставке, уже не
        щеголял, не хвастал, не задирался, любил только пить чай и болтать за
        ним всякий вздор; ходил по комнате, поправлял сальный огарок; аккуратно
        по истечении каждого месяца наведывался к своим жильцам за деньгами;
        выходил на улицу с ключом в руке, для того чтобы посмотреть на крышу
        своего дома; выгонял несколько раз дворника из его конуры, куда он
        запрятывался спать; одним словом, человек в отставке, которому после
        всей забубенной жизни и тряски на перекладных остаются одни пошлые
        привычки. -- Извольте сами глядеть, Варух Кузьмич, -- сказал хозяин,
        обращаясь к квартальному и расставив руки, -- вот не платит за квартиру,
        не платит. -- Что ж, если нет денег?
  - source_sentence: >-
      Дай бог, чтобы их стало еще меньше... Тебе не платят — вот что скверно.
      Деньги — это свобода, пространство, капризы... Имея деньги, так легко
      переносить нищету... Учись зарабатывать их, не лицемеря. Иди работать
      грузчиком, пиши ночами. Мандельштам говорил, люди сохранят все, что им
      нужно. Вот и пиши... У тебя есть к этому способности — могло и не быть.
    sentences:
      - >-
        Все миски, из которых диканьские козаки хлебали борщ, были размалеваны
        кузнецом. Кузнец был богобоязливый человек и писал часто образа святых:
        и теперь еще можно найти в Т... церкви его евангелиста Луку.
      - >-
        В коридоре было уже почти совсем темно: «Что, если он вдруг теперь
        выйдет из того угла и остановит меня у лестницы?» – мелькнуло ему, когда
        он подходил к знакомому месту. Но никто не вышел.
      - >-
        Тотчас же из-за отдаленного пакгауза выбежали двое. Один — в распахнутом
        драповом пальто. Другой — изящный, маленький, в плаще. Они бежали рядом,
        задыхаясь, перегоняя друг друга. Бегущие приблизились. Красноперов узнал
        Дебоширина и Трюмо. — Черт возьми, — прокричал Дебоширин, — едва не
        опоздали! — Я кепи уронил, — сказал Трюмо, — но это пустяки. Надеюсь,
        его поднимет хороший человек. — Друзья мои! — начал Красноперов.
        Волнение мешало ему говорить. Прощание было недолгим. Трюмо подарил
        Красноперову ржавый гвоздь. — Это необычный гвоздь, — сказал Трюмо, —
        это — личная вещь Бунина. Этим гвоздем Бунин нацарапал слово «жопа» под
        окнами Мережковского. Бунина рассердило, что Дмитрий Константинович
        прославляет Муссолини. Дебоширин тоже сделал Красноперову подарок.
        Вручил ему последний номер газеты «Известия». Там была помещена заметка
        Дебоширина о росте в мире капитала цен на яхты. У Красноперова сжалось
        горло. Он взбежал по трапу и махнул рукой. Затем, нагнувшись, исчез в
        дверях салона. — Кланяйтесь русским березам, — выкрикнул Дебоширин, —
        помните, у Есенина?..
  - source_sentence: >-
      В общем — ничего хорошего... Читаю газету. Вдруг поднялся мужчина средних
      лет. Американец. Худой такой. И ниже меня ростом. Подошел к хулиганам и
      говорит: — Заткнитесь! И затем: — Вон отсюда. Чувствовалось, если надо, он
      может кого-то и по затылку треснуть. И молодые люди заткнулись.
    sentences:
      - >-
        Ты у меня еще дров попросишь... Я в лесничестве работаю — дружбист! —
        Кто? — не понял я. — Бензопила у меня... «Дружба»... Хуяк — и червонец в
        кармане. — Дружбист, — ворчала тетка, — с винищем дружишь... До смерти
        не опейся... — Трудно, — как будто даже посетовал Михал Иваныч.
      - >-
        И свояченица, всхлипывая, рассказала, как схватили ее хлопцы в охапку на
        улице и, несмотря на сопротивление, опустили в широкое окно хаты и
        заколотили ставнем. Писарь взглянул: петли у широкого ставня оторваны, и
        он приколочен только сверху деревянным брусом. – Добро ты, одноглазый
        сатана! – вскричала она, приступив к голове, который попятился назад и
        все еще продолжал ее мерять своим глазом. – Я знаю твой умысел: ты
        хотел, ты рад был случаю спечь меня, чтобы свободнее было волочиться за
        дивчатами, чтобы некому было видеть, как дурачится седой дед. Ты
        думаешь, я не знаю, о чем говорил ты сего вечера с Ганною? О! я знаю
        все. Меня трудно провесть и не твоей бестолковой башке. Я долго терплю,
        но после не прогневайся…       Сказавши это, она показала кулак и быстро
        ушла, оставив в остолбенении голову. «Нет, тут не на шутку сатана
        вмешался», – думал он, сильно почесывая свою макушку. – Поймали! –
        вскрикнули вошедшие в это время десятские. – Кого поймали? – спросил
        голова. – Дьявола в вывороченном тулупе. – Подавайте его! – закричал
        голова, схватив за руки приведенного пленника. – Вы с ума сошли: да это
        пьяный Каленик! – Что за пропасть! в руках наших был, пан голова! –
        отвечали десятские. – В переулке окружили проклятые хлопцы, стали
        танцевать, дергать, высовывать языки, вырывать из рук… черт с вами!.. И
        как мы попали на эту ворону вместо его, бог один знает! – Властью моей и
        всех мирян дается повеление, – сказал голова, – изловить сей же миг сего
        разбойника: а оным образом и всех, кого найдете на улице, и привесть на
        расправу но мне!. – Помилуй, пан голова! – закричали некоторые, кланяясь
        в ноги. – Увидел бы ты, какие хари: убей бог нас, и родились и
        крестились – не видали таких мерзких рож. Долго ли до греха, пан голова,
        перепугают доброго человека так, что после ни одна баба не возьмется
        вылить переполоху.
      - >-
        — А зачем мне пальма? — Начнем с аквариума. — Всю жизнь мечтал иметь
        парочку дрессированных золотых рыбок... — А пальма? — Пальму можно
        рисовать с натуры. Держать ее на балконе. — Спрашивается, где у нас
        балкон? — Так ведь и пальмы еще нет... — Господи, о чем я спрашиваю? О
        чем мы вообще говорим?! — Действительно, о чем нам говорить?! Тем более,
        когда все решено. Я посмотрел на окна.
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy
model-index:
  - name: SentenceTransformer based on ai-forever/ruBert-base
    results:
      - task:
          type: triplet
          name: Triplet
        dataset:
          name: Unknown
          type: unknown
        metrics:
          - type: cosine_accuracy
            value: 0.9506604506604507
            name: Cosine Accuracy

SentenceTransformer based on ai-forever/ruBert-base

This is a sentence-transformers model finetuned from ai-forever/ruBert-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: ai-forever/ruBert-base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("abragin/ruBert-style-base")
# Run inference
sentences = [
    'В общем — ничего хорошего... Читаю газету. Вдруг поднялся мужчина средних лет. Американец. Худой такой. И ниже меня ростом. Подошел к хулиганам и говорит: — Заткнитесь! И затем: — Вон отсюда. Чувствовалось, если надо, он может кого-то и по затылку треснуть. И молодые люди заткнулись.',
    '— А зачем мне пальма? — Начнем с аквариума. — Всю жизнь мечтал иметь парочку дрессированных золотых рыбок... — А пальма? — Пальму можно рисовать с натуры. Держать ее на балконе. — Спрашивается, где у нас балкон? — Так ведь и пальмы еще нет... — Господи, о чем я спрашиваю? О чем мы вообще говорим?! — Действительно, о чем нам говорить?! Тем более, когда все решено. Я посмотрел на окна.',
    'И свояченица, всхлипывая, рассказала, как схватили ее хлопцы в охапку на улице и, несмотря на сопротивление, опустили в широкое окно хаты и заколотили ставнем. Писарь взглянул: петли у широкого ставня оторваны, и он приколочен только сверху деревянным брусом. – Добро ты, одноглазый сатана! – вскричала она, приступив к голове, который попятился назад и все еще продолжал ее мерять своим глазом. – Я знаю твой умысел: ты хотел, ты рад был случаю спечь меня, чтобы свободнее было волочиться за дивчатами, чтобы некому было видеть, как дурачится седой дед. Ты думаешь, я не знаю, о чем говорил ты сего вечера с Ганною? О! я знаю все. Меня трудно провесть и не твоей бестолковой башке. Я долго терплю, но после не прогневайся…       Сказавши это, она показала кулак и быстро ушла, оставив в остолбенении голову. «Нет, тут не на шутку сатана вмешался», – думал он, сильно почесывая свою макушку. – Поймали! – вскрикнули вошедшие в это время десятские. – Кого поймали? – спросил голова. – Дьявола в вывороченном тулупе. – Подавайте его! – закричал голова, схватив за руки приведенного пленника. – Вы с ума сошли: да это пьяный Каленик! – Что за пропасть! в руках наших был, пан голова! – отвечали десятские. – В переулке окружили проклятые хлопцы, стали танцевать, дергать, высовывать языки, вырывать из рук… черт с вами!.. И как мы попали на эту ворону вместо его, бог один знает! – Властью моей и всех мирян дается повеление, – сказал голова, – изловить сей же миг сего разбойника: а оным образом и всех, кого найдете на улице, и привесть на расправу но мне!. – Помилуй, пан голова! – закричали некоторые, кланяясь в ноги. – Увидел бы ты, какие хари: убей бог нас, и родились и крестились – не видали таких мерзких рож. Долго ли до греха, пан голова, перепугают доброго человека так, что после ни одна баба не возьмется вылить переполоху.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9507

Training Details

Training Dataset

Unnamed Dataset

Columns: anchor, sentence, and label

Loss: ContrastiveLoss with these parameters:

{
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.5,
    "size_average": true
}

Evaluation Dataset

Unnamed Dataset

Size: 10,296 evaluation samples
Columns: anchor, sentence, and label
Approximate statistics based on the first 1000 samples:
anchor sentence label
type string string int
details
min: 9 tokens
mean: 148.16 tokens
max: 512 tokens

min: 13 tokens
mean: 145.59 tokens
max: 498 tokens

1: 100.00%

	anchor	sentence	label
type	string	string	int
details	min: 9 tokens mean: 148.16 tokens max: 512 tokens	min: 13 tokens mean: 145.59 tokens max: 498 tokens	1: 100.00%

Samples:

anchor	sentence	label
ибо в один час пришел суд твой. И купцы земные восплачут и возрыдают о ней, потому что товаров их никто уже не покупает, товаров золотых и серебряных, и камней драгоценных и жемчуга, и виссона и порфиры, и шелка и багряницы, и всякого благовонного дерева, и всяких изделий из слоновой кости, и всяких изделий из дорогих дерев, из меди и железа и мрамора, корицы и фимиама, и мира и ладана, и вина и елея, и муки и пшеницы, и скота и овец, иконей и колесниц, и тел и душ человеческих. И плодов, угодных для души твоей, не стало у тебя, и все тучное и блистательное удалилось от тебя; ты уже не найдешь его. Торговавшие всем сим, обогатившиеся от нее, станут вдали от страха мучений ее, плача и рыдая и говоря: горе, горе тебе , великий город, одетый в виссон и порфиру и багряницу, украшенныйзолотом и камнями драгоценными и жемчугом, ибо в один час погибло такое богатство! И все кормчие, и все плывущие на кораблях, и все корабельщики, и всеторгующие на море стали вдали и, видя дым от пожара ее, во...	Так говорит Господь Бог: вот распределение, по которому вы должны разделить землю в наследие двенадцати коленам Израилевым: Иосифу два удела. И наследуйте ее, как один, так и другой; так как Я, подняв руку Мою, клялся отдать ее отцам вашим, то и будет земля сия наследием вашим. И вот предел земли: на северном конце, начиная от великого моря, через Хетлон, по дороге в Цедад, Емаф, Берот, Сивраим, находящийся между Дамасскою и Емафскою областями Гацар-Тихон, который на границе Аврана. И будет граница от моря до Гацар-Енон, граница с Дамаском, и далее на севере область Емаф; и вот северный край.	`1`
В скорби своей они с раннего утрабудут искать Меня и говорить: „пойдем и возвратимся к Господу! ибо Он уязвил – и Он исцелит нас, поразил – и перевяжет наши раны; оживит нас через два дня, в третий день восставит нас, и мы будем жить пред лицем Его. Итак познаем, будем стремиться познать Господа; как утренняя заря – явление Его, и Он придет к нам, как дождь, как поздний дождь оросит землю".	`Угодно было Дарию поставить над царством сто двадцать сатрапов, чтобы они были во всем царстве, а над ними трех князей, – из которых один был Даниил, – чтобысатрапы давали им отчет и чтобы царю не было никакого обременения.`	`1`
Буду пасти их на хорошей пажити, и загон их будетна высоких горах Израилевых; там они будут отдыхать в хорошем загоне и будут пастись на тучной пажити, на горахИзраилевых. Я буду пасти овец Моих и Я будупокоить их, говорит Господь Бог. Потерявшуюся отыщу и угнанную возвращу, и пораненную перевяжу, и больную укреплю, а разжиревшую и буйную истреблю; буду пасти их по правде. Вас же, овцы Мои, – так говорит Господь Бог, – вот, Я буду судить между овцою и овцою, между бараном и козлом. Разве мало вам того, что пасетесь на хорошей пажити, а между тем остальное на пажити вашей топчете ногами вашими, пьете чистую воду, а оставшуюся мутите ногами вашими,	Откровение Иисуса Христа, которое дал Ему Бог, чтобы показать рабам Своим, чему надлежит быть вскоре. И Он показал, послав оное через Ангела Своего рабу Своему Иоанну, который свидетельствовал слово Божие и свидетельство Иисуса Христа и что он видел. Блажен читающий и слушающие слова пророчества сего и соблюдающие написанное в нем; ибо время близко. Иоанн семи церквам, находящимся в Асии: благодать вам и мир от Того, Который есть и был и грядет, и от семи духов, находящихся перед престолом Его, и от Иисуса Христа, Который есть свидетель верный, первенец из мертвых и владыка царей земных. Ему, возлюбившему нас и омывшему нас от грехов наших Кровию Своею и соделавшему нас царями и священниками Богу и Отцу Своему, слава и держава во веки веков, аминь. Се, грядет с облаками, и узрит Еговсякое око и те, которые пронзили Его; и возрыдают пред Ним все племена земные. Ей, аминь. Я есмь Альфа и Омега, начало и конец, говорит Господь, Который есть и был игрядет, Вседержитель. Я, Иоанн, брат ваш ...	`1`

Loss: ContrastiveLoss with these parameters:

{
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.5,
    "size_average": true
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 4
gradient_accumulation_steps: 4
learning_rate: 2e-05
max_steps: 72667
warmup_steps: 1453
fp16: True
load_best_model_at_end: True

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 4
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3.0
max_steps: 72667
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 1453
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	cosine_accuracy
0.0028	200	0.0236	-	-
0.0055	400	0.0196	-	-
0.0083	600	0.0175	-	-
0.0110	800	0.016	-	-
0.0138	1000	0.0158	-	-
0.0165	1200	0.0166	-	-
0.0193	1400	0.0156	-	-
0.0220	1600	0.0153	-	-
0.0248	1800	0.0148	-	-
0.0275	2000	0.0145	-	-
0.0303	2200	0.0143	-	-
0.0330	2400	0.014	-	-
0.0333	2422	-	0.0146	0.9025
0.0358	2600	0.0137	-	-
0.0385	2800	0.0131	-	-
0.0413	3000	0.0135	-	-
0.0440	3200	0.0128	-	-
0.0468	3400	0.0129	-	-
0.0495	3600	0.0125	-	-
0.0523	3800	0.0128	-	-
0.0550	4000	0.0125	-	-
0.0578	4200	0.0119	-	-
0.0606	4400	0.0121	-	-
0.0633	4600	0.0117	-	-
0.0661	4800	0.0124	-	-
0.0667	4844	-	0.0134	0.9079
0.0688	5000	0.011	-	-
0.0716	5200	0.0113	-	-
0.0743	5400	0.0105	-	-
0.0771	5600	0.0111	-	-
0.0798	5800	0.0109	-	-
0.0826	6000	0.0109	-	-
0.0853	6200	0.0105	-	-
0.0881	6400	0.0111	-	-
0.0908	6600	0.0102	-	-
0.0936	6800	0.0109	-	-
0.0963	7000	0.0102	-	-
0.0991	7200	0.0107	-	-
0.1000	7266	-	0.0132	0.9165
0.1018	7400	0.0104	-	-
0.1046	7600	0.0111	-	-
0.1073	7800	0.01	-	-
0.1101	8000	0.0106	-	-
0.1128	8200	0.01	-	-
0.1156	8400	0.0106	-	-
0.1183	8600	0.0105	-	-
0.1211	8800	0.01	-	-
0.1239	9000	0.01	-	-
0.1266	9200	0.0097	-	-
0.1294	9400	0.0097	-	-
0.1321	9600	0.0095	-	-
0.1333	9688	-	0.0117	0.9277
0.1349	9800	0.01	-	-
0.1376	10000	0.0103	-	-
0.1404	10200	0.0102	-	-
0.1431	10400	0.0098	-	-
0.1459	10600	0.0103	-	-
0.1486	10800	0.0101	-	-
0.1514	11000	0.0094	-	-
0.1541	11200	0.0094	-	-
0.1569	11400	0.0098	-	-
0.1596	11600	0.0099	-	-
0.1624	11800	0.01	-	-
0.1651	12000	0.0099	-	-
0.1667	12110	-	0.0120	0.9240
0.1679	12200	0.0095	-	-
0.1706	12400	0.009	-	-
0.1734	12600	0.0096	-	-
0.1761	12800	0.0093	-	-
0.1789	13000	0.0092	-	-
0.1817	13200	0.0098	-	-
0.1844	13400	0.0094	-	-
0.1872	13600	0.0091	-	-
0.1899	13800	0.0089	-	-
0.1927	14000	0.0091	-	-
0.1954	14200	0.0087	-	-
0.1982	14400	0.0091	-	-
0.2000	14532	-	0.0112	0.9287
0.2009	14600	0.009	-	-
0.2037	14800	0.0091	-	-
0.2064	15000	0.0091	-	-
0.2092	15200	0.0089	-	-
0.2119	15400	0.0087	-	-
0.2147	15600	0.0083	-	-
0.2174	15800	0.0093	-	-
0.2202	16000	0.0093	-	-
0.2229	16200	0.0088	-	-
0.2257	16400	0.0084	-	-
0.2284	16600	0.0087	-	-
0.2312	16800	0.0086	-	-
0.2333	16954	-	0.0115	0.9291
0.2339	17000	0.0086	-	-
0.2367	17200	0.0088	-	-
0.2394	17400	0.0085	-	-
0.2422	17600	0.0085	-	-
0.2450	17800	0.0086	-	-
0.2477	18000	0.0087	-	-
0.2505	18200	0.0082	-	-
0.2532	18400	0.0088	-	-
0.2560	18600	0.0087	-	-
0.2587	18800	0.0086	-	-
0.2615	19000	0.0088	-	-
0.2642	19200	0.0086	-	-
0.2666	19376	-	0.0116	0.9312
0.2670	19400	0.0083	-	-
0.2697	19600	0.008	-	-
0.2725	19800	0.0083	-	-
0.2752	20000	0.0083	-	-
0.2780	20200	0.0078	-	-
0.2807	20400	0.0084	-	-
0.2835	20600	0.0082	-	-
0.2862	20800	0.0085	-	-
0.2890	21000	0.0082	-	-
0.2917	21200	0.0081	-	-
0.2945	21400	0.0078	-	-
0.2972	21600	0.0078	-	-
0.3000	21798	-	0.0109	0.9347
0.3000	21800	0.0082	-	-
0.3028	22000	0.0081	-	-
0.3055	22200	0.0083	-	-
0.3083	22400	0.0074	-	-
0.3110	22600	0.0079	-	-
0.3138	22800	0.0078	-	-
0.3165	23000	0.0078	-	-
0.3193	23200	0.0085	-	-
0.3220	23400	0.0084	-	-
0.3248	23600	0.0082	-	-
0.3275	23800	0.0079	-	-
0.3303	24000	0.008	-	-
0.3330	24200	0.0078	-	-
0.3333	24220	-	0.0112	0.9343
0.3358	24400	0.0077	-	-
0.3385	24600	0.0083	-	-
0.3413	24800	0.0082	-	-
0.3440	25000	0.0075	-	-
0.3468	25200	0.0076	-	-
0.3495	25400	0.0078	-	-
0.3523	25600	0.0077	-	-
0.3550	25800	0.0073	-	-
0.3578	26000	0.0076	-	-
0.3605	26200	0.0076	-	-
0.3633	26400	0.0071	-	-
0.3661	26600	0.0073	-	-
0.3666	26642	-	0.0113	0.9336
0.3688	26800	0.0074	-	-
0.3716	27000	0.0074	-	-
0.3743	27200	0.0076	-	-
0.3771	27400	0.0075	-	-
0.3798	27600	0.0078	-	-
0.3826	27800	0.0071	-	-
0.3853	28000	0.007	-	-
0.3881	28200	0.0069	-	-
0.3908	28400	0.0069	-	-
0.3936	28600	0.0081	-	-
0.3963	28800	0.0076	-	-
0.3991	29000	0.0073	-	-
0.4000	29064	-	0.0113	0.9336
0.4018	29200	0.0073	-	-
0.4046	29400	0.0071	-	-
0.4073	29600	0.0069	-	-
0.4101	29800	0.007	-	-
0.4128	30000	0.0068	-	-
0.4156	30200	0.0071	-	-
0.4183	30400	0.0072	-	-
0.4211	30600	0.0072	-	-
0.4239	30800	0.0069	-	-
0.4266	31000	0.0075	-	-
0.4294	31200	0.0074	-	-
0.4321	31400	0.0072	-	-
0.4333	31486	-	0.0110	0.9363
0.4349	31600	0.0074	-	-
0.4376	31800	0.0066	-	-
0.4404	32000	0.0074	-	-
0.4431	32200	0.0071	-	-
0.4459	32400	0.0075	-	-
0.4486	32600	0.0077	-	-
0.4514	32800	0.0072	-	-
0.4541	33000	0.0069	-	-
0.4569	33200	0.0063	-	-
0.4596	33400	0.0067	-	-
0.4624	33600	0.007	-	-
0.4651	33800	0.0067	-	-
0.4666	33908	-	0.0108	0.9376
0.4679	34000	0.007	-	-
0.4706	34200	0.0068	-	-
0.4734	34400	0.0074	-	-
0.4761	34600	0.0068	-	-
0.4789	34800	0.0065	-	-
0.4816	35000	0.0068	-	-
0.4844	35200	0.007	-	-
0.4872	35400	0.0067	-	-
0.4899	35600	0.0065	-	-
0.4927	35800	0.0068	-	-
0.4954	36000	0.0065	-	-
0.4982	36200	0.0066	-	-
0.5000	36330	-	0.0109	0.9408
0.5009	36400	0.0068	-	-
0.5037	36600	0.0067	-	-
0.5064	36800	0.0074	-	-
0.5092	37000	0.0064	-	-
0.5119	37200	0.0068	-	-
0.5147	37400	0.007	-	-
0.5174	37600	0.0069	-	-
0.5202	37800	0.0066	-	-
0.5229	38000	0.007	-	-
0.5257	38200	0.0065	-	-
0.5284	38400	0.0068	-	-
0.5312	38600	0.006	-	-
0.5333	38752	-	0.0108	0.9402
0.5339	38800	0.0063	-	-
0.5367	39000	0.0069	-	-
0.5394	39200	0.0065	-	-
0.5422	39400	0.0067	-	-
0.5450	39600	0.0067	-	-
0.5477	39800	0.007	-	-
0.5505	40000	0.0067	-	-
0.5532	40200	0.0064	-	-
0.5560	40400	0.0065	-	-
0.5587	40600	0.0068	-	-
0.5615	40800	0.0068	-	-
0.5642	41000	0.007	-	-
0.5666	41174	-	0.0104	0.9398
0.5670	41200	0.0066	-	-
0.5697	41400	0.0066	-	-
0.5725	41600	0.0063	-	-
0.5752	41800	0.0064	-	-
0.5780	42000	0.0065	-	-
0.5807	42200	0.0061	-	-
0.5835	42400	0.0062	-	-
0.5862	42600	0.0062	-	-
0.5890	42800	0.0059	-	-
0.5917	43000	0.0068	-	-
0.5945	43200	0.0067	-	-
0.5972	43400	0.0062	-	-
0.5999	43596	-	0.0110	0.9382
0.6000	43600	0.0062	-	-
0.6027	43800	0.0066	-	-
0.6055	44000	0.0065	-	-
0.6083	44200	0.006	-	-
0.6110	44400	0.0066	-	-
0.6138	44600	0.0067	-	-
0.6165	44800	0.0064	-	-
0.6193	45000	0.0066	-	-
0.6220	45200	0.0069	-	-
0.6248	45400	0.0067	-	-
0.6275	45600	0.0063	-	-
0.6303	45800	0.0064	-	-
0.6330	46000	0.0064	-	-
0.6333	46018	-	0.0105	0.9458
0.6358	46200	0.0067	-	-
0.6385	46400	0.0063	-	-
0.6413	46600	0.0064	-	-
0.6440	46800	0.0064	-	-
0.6468	47000	0.0064	-	-
0.6495	47200	0.0065	-	-
0.6523	47400	0.0061	-	-
0.6550	47600	0.0065	-	-
0.6578	47800	0.0061	-	-
0.6605	48000	0.0065	-	-
0.6633	48200	0.0061	-	-
0.6661	48400	0.0059	-	-
0.6666	48440	-	0.0105	0.9468
0.6688	48600	0.0064	-	-
0.6716	48800	0.006	-	-
0.6743	49000	0.0061	-	-
0.6771	49200	0.0061	-	-
0.6798	49400	0.0062	-	-
0.6826	49600	0.006	-	-
0.6853	49800	0.0066	-	-
0.6881	50000	0.0059	-	-
0.6908	50200	0.0065	-	-
0.6936	50400	0.0065	-	-
0.6963	50600	0.0062	-	-
0.6991	50800	0.0061	-	-
0.6999	50862	-	0.0103	0.9470
0.7018	51000	0.0063	-	-
0.7046	51200	0.0065	-	-
0.7073	51400	0.0061	-	-
0.7101	51600	0.0066	-	-
0.7128	51800	0.0064	-	-
0.7156	52000	0.006	-	-
0.7183	52200	0.006	-	-
0.7211	52400	0.0057	-	-
0.7238	52600	0.0065	-	-
0.7266	52800	0.0059	-	-
0.7294	53000	0.0063	-	-
0.7321	53200	0.0063	-	-
0.7333	53284	-	0.0105	0.9429
0.7349	53400	0.0063	-	-
0.7376	53600	0.006	-	-
0.7404	53800	0.0058	-	-
0.7431	54000	0.0063	-	-
0.7459	54200	0.0057	-	-
0.7486	54400	0.0058	-	-
0.7514	54600	0.0058	-	-
0.7541	54800	0.0062	-	-
0.7569	55000	0.0058	-	-
0.7596	55200	0.006	-	-
0.7624	55400	0.0056	-	-
0.7651	55600	0.0061	-	-
0.7666	55706	-	0.0103	0.9454
0.7679	55800	0.006	-	-
0.7706	56000	0.0061	-	-
0.7734	56200	0.0063	-	-
0.7761	56400	0.0061	-	-
0.7789	56600	0.006	-	-
0.7816	56800	0.0062	-	-
0.7844	57000	0.0059	-	-
0.7872	57200	0.0055	-	-
0.7899	57400	0.0053	-	-
0.7927	57600	0.0057	-	-
0.7954	57800	0.0055	-	-
0.7982	58000	0.006	-	-
0.7999	58128	-	0.0101	0.9476
0.8009	58200	0.0056	-	-
0.8037	58400	0.0058	-	-
0.8064	58600	0.0061	-	-
0.8092	58800	0.006	-	-
0.8119	59000	0.0057	-	-
0.8147	59200	0.0056	-	-
0.8174	59400	0.0066	-	-
0.8202	59600	0.006	-	-
0.8229	59800	0.0056	-	-
0.8257	60000	0.006	-	-
0.8284	60200	0.006	-	-
0.8312	60400	0.0063	-	-
0.8333	60550	-	0.0101	0.9481
0.8339	60600	0.0064	-	-
0.8367	60800	0.0061	-	-
0.8394	61000	0.006	-	-
0.8422	61200	0.0056	-	-
0.8450	61400	0.006	-	-
0.8477	61600	0.0063	-	-
0.8505	61800	0.0064	-	-
0.8532	62000	0.0058	-	-
0.8560	62200	0.0063	-	-
0.8587	62400	0.0056	-	-
0.8615	62600	0.0058	-	-
0.8642	62800	0.0059	-	-
0.8666	62972	-	0.0101	0.9491
0.8670	63000	0.0057	-	-
0.8697	63200	0.0056	-	-
0.8725	63400	0.0059	-	-
0.8752	63600	0.006	-	-
0.8780	63800	0.0057	-	-
0.8807	64000	0.0056	-	-
0.8835	64200	0.0053	-	-
0.8862	64400	0.0059	-	-
0.8890	64600	0.0055	-	-
0.8917	64800	0.006	-	-
0.8945	65000	0.0053	-	-
0.8972	65200	0.0059	-	-
0.8999	65394	-	0.01	0.9483
0.9000	65400	0.0058	-	-
0.9027	65600	0.0061	-	-
0.9055	65800	0.0057	-	-
0.9083	66000	0.0058	-	-
0.9110	66200	0.006	-	-
0.9138	66400	0.0057	-	-
0.9165	66600	0.0058	-	-
0.9193	66800	0.0062	-	-
0.9220	67000	0.0059	-	-
0.9248	67200	0.0058	-	-
0.9275	67400	0.0057	-	-
0.9303	67600	0.0054	-	-
0.9330	67800	0.0057	-	-
0.9332	67816	-	0.0100	0.9487
0.9358	68000	0.0056	-	-
0.9385	68200	0.0058	-	-
0.9413	68400	0.0059	-	-
0.9440	68600	0.0058	-	-
0.9468	68800	0.0055	-	-
0.9495	69000	0.0059	-	-
0.9523	69200	0.0057	-	-
0.9550	69400	0.0058	-	-
0.9578	69600	0.0061	-	-
0.9605	69800	0.0052	-	-
0.9633	70000	0.0056	-	-
0.9661	70200	0.0059	-	-
0.9666	70238	-	0.0102	0.9501
0.9688	70400	0.0057	-	-
0.9716	70600	0.0058	-	-
0.9743	70800	0.0054	-	-
0.9771	71000	0.0057	-	-
0.9798	71200	0.0055	-	-
0.9826	71400	0.0056	-	-
0.9853	71600	0.0053	-	-
0.9881	71800	0.0062	-	-
0.9908	72000	0.0057	-	-
0.9936	72200	0.0057	-	-
0.9963	72400	0.006	-	-
0.9991	72600	0.0054	-	-
0.9999	72660	-	0.0100	0.9507

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.11.5
Sentence Transformers: 3.3.1
Transformers: 4.46.3
PyTorch: 2.1.1
Accelerate: 1.1.1
Datasets: 2.15.0
Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}