er-test / added_tokens.json
joheras's picture
Upload tokenizer
6fb0053 verified
{
"</O:ANA>": 119618,
"</O:Age>": 119578,
"</O:CHE>": 119558,
"</O:CON>": 119566,
"</O:DEV>": 119554,
"</O:DIS>": 119614,
"</O:Dos>": 119570,
"</O:Dur>": 119610,
"</O:Foo>": 119574,
"</O:For>": 119606,
"</O:Fre>": 119598,
"</O:GEN>": 119594,
"</O:LIV>": 119586,
"</O:Obs>": 119590,
"</O:PHY>": 119550,
"</O:PRO>": 119602,
"</O:Qua>": 119562,
"</O:Rou>": 119582,
"</S:ANA>": 119616,
"</S:Age>": 119576,
"</S:CHE>": 119556,
"</S:CON>": 119564,
"</S:DEV>": 119552,
"</S:DIS>": 119612,
"</S:Dos>": 119568,
"</S:Dur>": 119608,
"</S:Foo>": 119572,
"</S:For>": 119604,
"</S:Fre>": 119596,
"</S:GEN>": 119592,
"</S:LIV>": 119584,
"</S:Obs>": 119588,
"</S:PHY>": 119548,
"</S:PRO>": 119600,
"</S:Qua>": 119560,
"</S:Rou>": 119580,
"<O:ANA>": 119617,
"<O:Age>": 119577,
"<O:CHE>": 119557,
"<O:CON>": 119565,
"<O:DEV>": 119553,
"<O:DIS>": 119613,
"<O:Dos>": 119569,
"<O:Dur>": 119609,
"<O:Foo>": 119573,
"<O:For>": 119605,
"<O:Fre>": 119597,
"<O:GEN>": 119593,
"<O:LIV>": 119585,
"<O:Obs>": 119589,
"<O:PHY>": 119549,
"<O:PRO>": 119601,
"<O:Qua>": 119561,
"<O:Rou>": 119581,
"<S:ANA>": 119615,
"<S:Age>": 119575,
"<S:CHE>": 119555,
"<S:CON>": 119563,
"<S:DEV>": 119551,
"<S:DIS>": 119611,
"<S:Dos>": 119567,
"<S:Dur>": 119607,
"<S:Foo>": 119571,
"<S:For>": 119603,
"<S:Fre>": 119595,
"<S:GEN>": 119591,
"<S:LIV>": 119583,
"<S:Obs>": 119587,
"<S:PHY>": 119547,
"<S:PRO>": 119599,
"<S:Qua>": 119559,
"<S:Rou>": 119579
}