Mizuiro-sakura commited on
Commit
a2ad5cf
1 Parent(s): cdbecdc

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +70 -0
README.md CHANGED
@@ -1,3 +1,73 @@
1
  ---
2
  license: mit
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: mit
3
+ language: ja
4
+ library_name: transformers
5
+ tags:
6
+ - pytorch
7
+ - deberta
8
+ - deberta-v2
9
+ - named entity recognition
10
+ - named-entity-recognition
11
+ - ner
12
+ datasets:
13
+ - wikipedia
14
+ - cc100
15
+ - oscar
16
+ metrics:
17
+ - accuracy
18
+
19
  ---
20
+
21
+ # このモデルはdeberta-v2-large-japaneseをファインチューニングして固有表現抽出(NER)に用いれるようにしたものです。
22
+ このモデルはdeberta-v2-large-japaneseを Wikipediaを用いた日本語の固有表現抽出データセット(ストックマーク社、https://github.com/stockmarkteam/ner-wikipedia-dataset )を用いてファインチューニングしたものです。
23
+
24
+ # This model is fine-tuned model for Named Entity Recognition (NER) which is based on deberta-v2-large-japanese
25
+ This model is fine-tuned by using Wikipedia dataset.
26
+
27
+ You could use this model for NER tasks.
28
+
29
+ # How to use 使い方
30
+ transformersおよびpytorch、sentencepiece、Juman++をインストールしてください。
31
+ 以下のコードを実行することで、固有表現抽出タスクを解かせることができます。 please execute this code.
32
+ ```python
33
+ from transformers import AutoTokenizer,pipeline, AutoModelForTokenClassification
34
+ tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/deberta-v2-large-japanese-finetuned-ner')
35
+ model=AutoModelForTokenClassification.from_pretrained('Mizuiro-sakura/deberta-v2-large-japanese-finetuned-ner') # 学習済みモデルの読み込み
36
+
37
+ text=('昨日は東京で買い物をした')
38
+
39
+ ner=pipeline('ner', model=model, tokenizer=tokenizer)
40
+
41
+ result=ner(text)
42
+ print(result)
43
+ ```
44
+ # モデルの精度 accuracy of model
45
+ 全体:0.7974729241877256
46
+     precision recall f1-score support
47
+
48
+ その他の組織名 0.72  0.72 0.72 238
49
+ イベント名 0.73 0.85 0.79 215
50
+ 人名  0.83   0.89 0.86 547
51
+ 地名  0.79  0.80 0.80 446
52
+ 政治的組織名 0.78   0.83 0.80 263
53
+ 施設名  0.74   0.84 0.79 241
54
+ 法人名  0.84  0.80 0.82 487
55
+ 製品名  0.65   0.78 0.71 252
56
+
57
+    micro avg 0.77 0.82 0.80 2689
58
+   macro avg 0.76 0.82 0.79 2689
59
+    weighted avg 0.78 0.82 0.80 2689
60
+
61
+ # deberta-v2-base-japaneseとは?
62
+ 日本語Wikipedeia(3.2GB)および、cc100(85GB)、oscar(54GB)を用いて訓練されたモデルです。
63
+ 京都大学黒橋研究室が公表されました。
64
+
65
+ # Model description
66
+ This is a Japanese DeBERTa V2 base model pre-trained on Japanese Wikipedia, the Japanese portion of CC-100, and the Japanese portion of OSCAR.
67
+
68
+ # Acknowledgments 謝辞
69
+ モデルを公開してくださった京都大学黒橋研究室には感謝いたします。
70
+
71
+ I would like to thank Kurohashi Lab at Kyoto University.
72
+
73
+