---
library_name: transformers
license: mit
language:
- ja
base_model:
- sbintuitions/modernbert-ja-130m
---

[sbintuitions/modernbert-ja-130m](sbintuitions/modernbert-ja-130m) のベース部分のみ取り出したもの。

`sbintuitions/modernbert-ja-130m` は `ModernBertForMaskedLM` ですが、これは単語予測するヘッドがない `ModernBertForModel` です。

<details>
<summary>変換に使ったコード</summary>
  
```py
import torch
from transformers import (
    AutoModelForMaskedLM,
)

model = AutoModelForMaskedLM.from_pretrained(
    "sbintuitions/modernbert-ja-130m", torch_dtype=torch.bfloat16
)
# model.model をアップしただけ
model.model.push_to_hub("p1atdev/sbintuitions-modernbert-ja-130m-base")
```
</details>