Commit
•
7855e31
1
Parent(s):
665d7b6
Update README.md
Browse files
README.md
CHANGED
|
@@ -48,7 +48,7 @@ model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobileb
|
|
| 48 |
|推論時間(s)|163.5|78.4|40.9|
|
| 49 |
|精度|86.4%|82.5%|83.3%|
|
| 50 |
- 条件
|
| 51 |
-
-
|
| 52 |
- BERTモデルに、"cl-tohoku/bert-base-japanese-whole-word-masking"を利用。
|
| 53 |
- 推論データ n=2,140。精度は完全一致のf-measure。
|
| 54 |
- エポック数=10, lr=1e-4
|
|
@@ -64,7 +64,7 @@ model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobileb
|
|
| 64 |
- 東北大学さんが公開されている方法で、2021年8月時点のwikipediaデータを利用しました。
|
| 65 |
- 東北大学さんのgithub https://github.com/cl-tohoku/bert-japanese
|
| 66 |
- トークナイザ
|
| 67 |
-
- 東北大学さんのモデル"cl-tohoku/bert-large-japanese"からお借りしました。vocab sizeは
|
| 68 |
- 学習方法
|
| 69 |
- Google ColabからTPUを用いて学習しました。
|
| 70 |
1. IB-BERT<sub>LARGE</sub>をlr=5e-4で1Mステップ学習しました。
|
|
|
|
| 48 |
|推論時間(s)|163.5|78.4|40.9|
|
| 49 |
|精度|86.4%|82.5%|83.3%|
|
| 50 |
- 条件
|
| 51 |
+
- ストックマーク社さんのwikipediaデータセットで学習・推論。(https://github.com/stockmarkteam/ner-wikipedia-dataset)
|
| 52 |
- BERTモデルに、"cl-tohoku/bert-base-japanese-whole-word-masking"を利用。
|
| 53 |
- 推論データ n=2,140。精度は完全一致のf-measure。
|
| 54 |
- エポック数=10, lr=1e-4
|
|
|
|
| 64 |
- 東北大学さんが公開されている方法で、2021年8月時点のwikipediaデータを利用しました。
|
| 65 |
- 東北大学さんのgithub https://github.com/cl-tohoku/bert-japanese
|
| 66 |
- トークナイザ
|
| 67 |
+
- 東北大学さんのモデル"cl-tohoku/bert-large-japanese"からお借りしました。vocab sizeは32,768です。
|
| 68 |
- 学習方法
|
| 69 |
- Google ColabからTPUを用いて学習しました。
|
| 70 |
1. IB-BERT<sub>LARGE</sub>をlr=5e-4で1Mステップ学習しました。
|