{ "version": "1.0", "truncation": null, "padding": null, "added_tokens": [ { "id": 0, "content": "", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true } ], "normalizer": { "type": "Lowercase" }, "pre_tokenizer": { "type": "Whitespace" }, "post_processor": null, "decoder": null, "model": { "type": "BPE", "dropout": null, "unk_token": "", "continuing_subword_prefix": null, "end_of_word_suffix": null, "fuse_unk": false, "vocab": { "": 0, "a": 1, "b": 2, "c": 3, "d": 4, "e": 5, "f": 6, "g": 7, "h": 8, "i": 9, "k": 10, "l": 11, "m": 12, "n": 13, "o": 14, "p": 15, "q": 16, "r": 17, "s": 18, "t": 19, "u": 20, "v": 21, "w": 22, "x": 23, "y": 24, "z": 25, "aa": 26, "ll": 27, "la": 28, "gg": 29, "rr": 30, "va": 31, "ga": 32, "ra": 33, "lv": 34, "pa": 35, "lg": 36, "sa": 37, "lr": 38, "ea": 39, "vv": 40, "da": 41, "ta": 42, "ls": 43, "lp": 44, "ia": 45, "gr": 46, "ld": 47, "le": 48, "ss": 49, "gv": 50, "lt": 51, "gs": 52, "er": 53, "gt": 54, "gd": 55, "pp": 56, "li": 57, "vr": 58, "ge": 59, "qa": 60, "fa": 61, "lk": 62, "vt": 63, "vs": 64, "gi": 65, "vd": 66, "ve": 67, "lf": 68, "pr": 69, "ka": 70, "dr": 71, "ps": 72, "lq": 73, "ee": 74, "tt": 75, "gk": 76, "na": 77, "sr": 78, "pd": 79, "vi": 80, "pe": 81, "gf": 82, "ln": 83, "pt": 84, "gq": 85, "ha": 86, "st": 87, "dd": 88, "qr": 89, "gp": 90, "ei": 91, "ya": 92, "kk": 93, "gn": 94, "lh": 95, "vp": 96, "tr": 97, "vf": 98, "si": 99, "ma": 100, "de": 101, "ly": 102, "aaa": 103, "ir": 104, "vk": 105, "gy": 106, "ts": 107, "ti": 108, "kr": 109, "vn": 110, "gh": 111, "vq": 112, "sd": 113, "se": 114, "sf": 115, "ie": 116, "id": 117, "lm": 118, "hr": 119, "fr": 120, "laa": 121, "sp": 122, "td": 123, "ke": 124, "te": 125, "nr": 126, "fd": 127, "tp": 128, "yr": 129, "gm": 130, "ki": 131, "qq": 132, "pi": 133, "ff": 134, "pv": 135, "kd": 136, "ca": 137, "sn": 138, "ed": 139, "gw": 140, "sq": 141, "sv": 142, "lw": 143, "tf": 144, "pq": 145, "re": 146, "lla": 147, "tv": 148, "sk": 149, "pf": 150, "ii": 151, "eq": 152, "tn": 153, "lc": 154, "rd": 155, "vh": 156, "pn": 157, "vy": 158, "vg": 159, "kn": 160, "di": 161, "tq": 162, "fe": 163, "wa": 164, "mr": 165, "sy": 166, "qi": 167, "pk": 168, "ek": 169, "gc": 170, "gaa": 171, "ni": 172, "vm": 173, "th": 174, "tk": 175, "yd": 176, "fi": 177, "nd": 178, "sh": 179, "ri": 180, "ph": 181, "lrr": 182, "qe": 183, "lva": 184, "vaa": 185, "ty": 186, "gga": 187, "qd": 188, "sg": 189, "wr": 190, "lga": 191, "py": 192, "pg": 193, "lra": 194, "vc": 195, "nn": 196, "sm": 197, "hd": 198, "rra": 199 }, "merges": [ "a a", "l l", "l a", "g g", "r r", "v a", "g a", "r a", "l v", "p a", "l g", "s a", "l r", "e a", "v v", "d a", "t a", "l s", "l p", "i a", "g r", "l d", "l e", "s s", "g v", "l t", "g s", "e r", "g t", "g d", "p p", "l i", "v r", "g e", "q a", "f a", "l k", "v t", "v s", "g i", "v d", "v e", "l f", "p r", "k a", "d r", "p s", "l q", "e e", "t t", "g k", "n a", "s r", "p d", "v i", "p e", "g f", "l n", "p t", "g q", "h a", "s t", "d d", "q r", "g p", "e i", "y a", "k k", "g n", "l h", "v p", "t r", "v f", "s i", "m a", "d e", "l y", "aa a", "i r", "v k", "g y", "t s", "t i", "k r", "v n", "g h", "v q", "s d", "s e", "s f", "i e", "i d", "l m", "h r", "f r", "l aa", "s p", "t d", "k e", "t e", "n r", "f d", "t p", "y r", "g m", "k i", "q q", "p i", "f f", "p v", "k d", "c a", "s n", "e d", "g w", "s q", "s v", "l w", "t f", "p q", "r e", "ll a", "t v", "s k", "p f", "i i", "e q", "t n", "l c", "r d", "v h", "p n", "v y", "v g", "k n", "d i", "t q", "f e", "w a", "m r", "s y", "q i", "p k", "e k", "g c", "g aa", "n i", "v m", "t h", "t k", "y d", "f i", "n d", "s h", "r i", "p h", "l rr", "q e", "l va", "v aa", "t y", "gg a", "q d", "s g", "w r", "l ga", "p y", "p g", "l ra", "v c", "n n", "s m", "h d", "rr a" ] } }