README.md

metadata

library_name: transformers
license: mit
language:
  - ja
base_model:
  - sbintuitions/modernbert-ja-130m

sbintuitions/modernbert-ja-130m のベース部分のみ取り出したもの。

sbintuitions/modernbert-ja-130m は ModernBertForMaskedLM ですが、これは単語予測するヘッドがない ModernBertForModel です。

変換に使ったコード

import torch
from transformers import (
    AutoModelForMaskedLM,
)

model = AutoModelForMaskedLM.from_pretrained(
    "sbintuitions/modernbert-ja-130m", torch_dtype=torch.bfloat16
)
# model.model をアップしただけ
model.model.push_to_hub("p1atdev/sbintuitions-modernbert-ja-130m-base")