无法识别符号"_"
#1
by
wangweizhi
- opened
无法识别符号"_"
T5模型是sentencepiece的tokenizer，他可能无法单独对“_”进行编码，你可以考虑把他加到tokenizer的special_token里，这样就可以对这个符号进行编码里了
wuxiaojun
changed discussion status to
closed
无法识别符号"_"
T5模型是sentencepiece的tokenizer，他可能无法单独对“_”进行编码，你可以考虑把他加到tokenizer的special_token里，这样就可以对这个符号进行编码里了