Upload tokenizer
4fbc139
verified
|
{ |
|
"<|endoftext|>": 50256, |
|
"<||bos||>": 50257, |
|
"<||pad||>": 50258, |
|
"<||unk||>": 50259, |
|
"<||unused10||>": 50269, |
|
"<||unused11||>": 50270, |
|
"<||unused12||>": 50271, |
|
"<||unused13||>": 50272, |
|
"<||unused14||>": 50273, |
|
"<||unused15||>": 50274, |
|
"<||unused16||>": 50275, |
|
"<||unused17||>": 50276, |
|
"<||unused18||>": 50277, |
|
"<||unused19||>": 50278, |
|
"<||unused1||>": 50260, |
|
"<||unused20||>": 50279, |
|
"<||unused21||>": 50280, |
|
"<||unused22||>": 50281, |
|
"<||unused23||>": 50282, |
|
"<||unused24||>": 50283, |
|
"<||unused25||>": 50284, |
|
"<||unused26||>": 50285, |
|
"<||unused27||>": 50286, |
|
"<||unused28||>": 50287, |
|
"<||unused29||>": 50288, |
|
"<||unused2||>": 50261, |
|
"<||unused30||>": 50289, |
|
"<||unused31||>": 50290, |
|
"<||unused32||>": 50291, |
|
"<||unused33||>": 50292, |
|
"<||unused34||>": 50293, |
|
"<||unused35||>": 50294, |
|
"<||unused36||>": 50295, |
|
"<||unused37||>": 50296, |
|
"<||unused38||>": 50297, |
|
"<||unused39||>": 50298, |
|
"<||unused3||>": 50262, |
|
"<||unused40||>": 50299, |
|
"<||unused41||>": 50300, |
|
"<||unused42||>": 50301, |
|
"<||unused43||>": 50302, |
|
"<||unused44||>": 50303, |
|
"<||unused4||>": 50263, |
|
"<||unused5||>": 50264, |
|
"<||unused6||>": 50265, |
|
"<||unused7||>": 50266, |
|
"<||unused8||>": 50267, |
|
"<||unused9||>": 50268 |
|
} |
|
|