{ | |
"cls_token": "[bos]", | |
"mask_token": "[mask]", | |
"pad_token": "[nop]", | |
"sep_token": "[eos]", | |
"tokenizer_class": "PreTrainedTokenizerFast", | |
"unk_token": "[unk]" | |
} | |
{ | |
"cls_token": "[bos]", | |
"mask_token": "[mask]", | |
"pad_token": "[nop]", | |
"sep_token": "[eos]", | |
"tokenizer_class": "PreTrainedTokenizerFast", | |
"unk_token": "[unk]" | |
} | |