CarlosMalaga's picture
Upload 18 files
1102db0 verified
raw
history blame
1.88 kB
{
"add_prefix_space": true,
"additional_special_tokens": [
"--NME--",
"[E-0]",
"[E-1]",
"[E-2]",
"[E-3]",
"[E-4]",
"[E-5]",
"[E-6]",
"[E-7]",
"[E-8]",
"[E-9]",
"[E-10]",
"[E-11]",
"[E-12]",
"[E-13]",
"[E-14]",
"[E-15]",
"[E-16]",
"[E-17]",
"[E-18]",
"[E-19]",
"[E-20]",
"[E-21]",
"[E-22]",
"[E-23]",
"[E-24]",
"[E-25]",
"[E-26]",
"[E-27]",
"[E-28]",
"[E-29]",
"[E-30]",
"[E-31]",
"[E-32]",
"[E-33]",
"[E-34]",
"[E-35]",
"[E-36]",
"[E-37]",
"[E-38]",
"[E-39]",
"[E-40]",
"[E-41]",
"[E-42]",
"[E-43]",
"[E-44]",
"[E-45]",
"[E-46]",
"[E-47]",
"[E-48]",
"[E-49]",
"[E-50]",
"[E-51]",
"[E-52]",
"[E-53]",
"[E-54]",
"[E-55]",
"[E-56]",
"[E-57]",
"[E-58]",
"[E-59]",
"[E-60]",
"[E-61]",
"[E-62]",
"[E-63]",
"[E-64]",
"[E-65]",
"[E-66]",
"[E-67]",
"[E-68]",
"[E-69]",
"[E-70]",
"[E-71]",
"[E-72]",
"[E-73]",
"[E-74]",
"[E-75]",
"[E-76]",
"[E-77]",
"[E-78]",
"[E-79]",
"[E-80]",
"[E-81]",
"[E-82]",
"[E-83]",
"[E-84]",
"[E-85]",
"[E-86]",
"[E-87]",
"[E-88]",
"[E-89]",
"[E-90]",
"[E-91]",
"[E-92]",
"[E-93]",
"[E-94]",
"[E-95]",
"[E-96]",
"[E-97]",
"[E-98]",
"[E-99]"
],
"bos_token": "[CLS]",
"clean_up_tokenization_spaces": true,
"cls_token": "[CLS]",
"do_lower_case": false,
"eos_token": "[SEP]",
"mask_token": "[MASK]",
"model_max_length": 1000000000000000019884624838656,
"pad_token": "[PAD]",
"sep_token": "[SEP]",
"sp_model_kwargs": {},
"split_by_punct": false,
"tokenizer_class": "DebertaV2Tokenizer",
"unk_token": "[UNK]",
"vocab_type": "spm"
}