iioSnail commited on
Commit
3852edb
1 Parent(s): ae509ea

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +86 -0
README.md CHANGED
@@ -1,3 +1,89 @@
1
  ---
2
  license: afl-3.0
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: afl-3.0
3
+ language:
4
+ - zh
5
+ pipeline_tag: fill-mask
6
+ tags:
7
+ - Chinese Spell Correction
8
+ - csc
9
+ - Chinese Spell Checking
10
  ---
11
+
12
+ # ChienseBERT-for-csc
13
+
14
+ 中文拼写纠错(Chinese Spell Checking, CSC)模型
15
+
16
+ 该模型源于SCOPE论文的复现。
17
+
18
+ 原论文为:https://arxiv.org/pdf/2210.10996.pdf
19
+
20
+ 原论文官方代码为:https://github.com/jiahaozhenbang/SCOPE
21
+
22
+ 本模型并没有完全复现作者的结果,最终效果比论文中差了一个点,具体原因可参考[#7](https://github.com/jiahaozhenbang/SCOPE/issues/7)。
23
+
24
+ 本模型在SIGHAN2015上的表现如下:
25
+
26
+ | | Detect-Acc | Detect-Precision | Detect-Recall | Detect-F1 | Correct-Acc | Correct-Precision | Correct-Recall | Correct-F1 |
27
+ |--|--|--|--|--|--|--|--|--|
28
+ | Chararcter-level | - | - | - | 87.16 | - | - | - | 91.39 |
29
+ | Sentence-level | 86.27 | 79.75 | 82.99 | 81.34 | 85.45 | 78.15 | 81.33 | 79.71 |
30
+
31
+
32
+ 若去掉SCOPE论文中在推理阶段使用的CIC,则在SIGHAN2015上表现如下:
33
+
34
+ | | Detect-Acc | Detect-Precision | Detect-Recall | Detect-F1 | Correct-Acc | Correct-Precision | Correct-Recall | Correct-F1 |
35
+ |--|--|--|--|--|--|--|--|--|
36
+ | Chararcter-level | - | - | - | 86.46 | - | - | - | 91.13 |
37
+ | Sentence-level | 85.36 | 78.19 | 82.44 | 80.22 | 85.55 | 76.53 | 80.78 | 78.60 |
38
+
39
+
40
+ > 本模型非官方模型,将其中SCOPE部分的拼音辅助训练任务和损失函数计算等相关代码去掉,仅保留了ChineseBERT的部分。
41
+
42
+ # 模型使用方法
43
+
44
+ ```
45
+ from transformers import AutoTokenizer, AutoModel
46
+
47
+ tokenizer = AutoTokenizer.from_pretrained("iioSnail/ChineseBERT-for-csc", trust_remote_code=True)
48
+ model = AutoModel.from_pretrained("iioSnail/ChineseBERT-for-csc", trust_remote_code=True)
49
+
50
+ inputs = tokenizer(["我是炼习时长两念半的个人练习生蔡徐坤"], return_tensors='pt')
51
+ output_hidden = model(**inputs).logits
52
+ print(''.join(tokenizer.convert_ids_to_tokens(output_hidden.argmax(-1)[0, 1:-1])))
53
+ ```
54
+
55
+ 输出:
56
+
57
+ ```
58
+ 我是练习时长两年半的个人练习生蔡徐坤
59
+ ```
60
+
61
+ 你也可以使用本模型封装的`predict`方法,其中封装了作者提出的CIC方法,可以解决连续错字问题。
62
+
63
+ ```
64
+ from transformers import AutoTokenizer, AutoModel
65
+
66
+ tokenizer = AutoTokenizer.from_pretrained("iioSnail/ChineseBERT-for-csc", trust_remote_code=True)
67
+ model = AutoModel.from_pretrained("iioSnail/ChineseBERT-for-csc", trust_remote_code=True)
68
+
69
+ model.set_tokenizer(tokenizer) # 使用predict方法前,调用该方法
70
+ print(model.predict("我是练习时长两念半的鸽仁练习生蔡徐坤", window=0)) # 将窗口设置为0,不使用CIC
71
+ print(model.predict("我是练习时长两念半的鸽仁练习生蔡徐坤")) # window默认为1,可以连续处理两个汉字
72
+ ```
73
+
74
+ 输出:
75
+
76
+ ```
77
+ 我是练习时长两年半的鸽人练习生蔡徐坤
78
+ 我是练习时长两年半的个人练习生蔡徐坤
79
+ ```
80
+
81
+ # 常见问题
82
+
83
+ 1. 网络问题,例如:`Connection Error`
84
+
85
+ 解决方案:将模型下载到本地使用。批量下载方案可参考该[博客](https://blog.csdn.net/zhaohongfei_358/article/details/126222999)
86
+
87
+ 2. 将模型下载到本地使用时出现报错:`ModuleNotFoundError: No module named 'transformers_modules.iioSnail/ChineseBERT-for-csc'`
88
+
89
+ 解决方案:将 `iioSnail/ChineseBERT-for-csc` 改为 `iioSnail\ChineseBERT-for-csc`