masato12/bert-base-japanese-v3-jsts-with-tokenizer

bert-base-japanese-v3-jsts

「大規模言語モデル入門」の第5章で紹介している(意味類似度計算)のモデルです。 cl-tohoku/bert-base-japanese-v3をJGLUEのJSTSデータセットでファインチューニングして構築されています。

関連リンク

• GitHubリポジトリ
• Colabノートブック（訓練）
• Colabノートブック（推論）
• データセット
• 大規模言語モデル入門（Amazon.co.jp）
• 大規模言語モデル入門（gihyo.jp）

使い方

from transformers import pipeline

text_sim_pipeline = pipeline(
    model="llm-book/bert-base-japanese-v3-jsts",
    function_to_apply="none",
)
text = "川べりでサーフボードを持った人たちがいます"
sim_text = "サーファーたちが川べりに立っています"
# textとsim_textの類似度を計算
result = text_sim_pipeline({"text": text, "text_pair": sim_text})
print(result["score"])
# 3.5703558921813965

ライセンス

Apache License 2.0