data/lang_bpe_1000/tokens.txt

<blk> 0
<sos/eos> 1
<unk> 2
▁, 3
▁ 4
s 5
▁. 6
▁et 7
▁ja 8
▁on 9
i 10
l 11
t 12
e 13
a 14
d 15
u 16
r 17
▁see 18
▁siis 19
▁ka 20
st 21
b 22
n 23
le 24
ma 25
▁ei 26
m 27
te 28
▁ma 29
me 30
da 31
k 32
ta 33
▁kui 34
ks 35
h 36
id 37
ga 38
ne 39
▁me 40
o 41
▁aga 42
se 43
▁nii 44
▁või 45
- 46
ri 47
▁ta 48
ti 49
va 50
nud 51
is 52
▁mis 53
vad 54
▁seda 55
▁ole 56
gi 57
ja 58
tu 59
õ 60
▁te 61
▁nagu 62
▁oli 63
ku 64
ü 65
v 66
de 67
▁selle 68
ra 69
la 70
ä 71
ge 72
li 73
▁väga 74
el 75
ni 76
▁sa 77
lt 78
▁ju 79
▁noh 80
ka 81
p 82
ke 83
▁saa 84
▁pa 85
sa 86
▁? 87
gu 88
nd 89
ki 90
nda 91
▁oma 92
▁kas 93
▁a 94
▁nüüd 95
oo 96
na 97
re 98
us 99
▁seal 100
▁siin 101
he 102
▁va 103
▁no 104
tud 105
▁need 106
al 107
si 108
es 109
▁kõik 110
▁k 111
g 112
mi 113
vi 114
▁üks 115
mise 116
ru 117
mine 118
▁kes 119
▁pi 120
▁meil 121
su 122
▁tegelikult 123
▁palju 124
▁võib 125
▁la 126
tus 127
▁jah 128
▁o 129
ha 130
hi 131
lu 132
du 133
nu 134
ed 135
sti 136
pi 137
an 138
▁täna 139
eri 140
▁tea 141
▁tu 142
it 143
ve 144
▁kus 145
ndi 146
as 147
ide 148
▁juba 149
▁mida 150
▁ko 151
▁veel 152
▁si 153
▁pea 154
▁Eesti 155
▁e 156
tsi 157
▁töö 158
▁meie 159
▁välja 160
ju 161
di 162
▁nende 163
▁nad 164
ad 165
▁neid 166
f 167
▁kuidas 168
sid 169
▁üle 170
▁käi 171
il 172
sin 173
▁eks 174
▁re 175
in 176
▁to 177
▁tule 178
▁ke 179
takse 180
▁ku 181
▁ära 182
▁aasta 183
▁praegu 184
ar 185
▁ühe 186
▁se 187
▁mitte 188
olla 189
dus 190
ko 191
▁ikkagi 192
▁tee 193
▁iga 194
lik 195
en 196
▁sõ 197
lise 198
▁nä 199
▁P 200
▁mingi 201
▁selline 202
teist 203
pe 204
sse 205
▁tuleb 206
▁S 207
▁selles 208
tada 209
pa 210
▁olnud 211
use 212
tse 213
▁ki 214
▁A 215
▁ve 216
▁tõ 217
▁küll 218
▁võ 219
▁teha 220
▁oleks 221
▁tä 222
▁sellest 223
▁K 224
▁näiteks 225
▁ha 226
▁f 227
▁mõ 228
at 229
ng 230
▁hea 231
▁minu 232
ngu 233
des 234
▁ikka 235
▁loo 236
lus 237
tuse 238
hu 239
konna 240
line 241
ndus 242
mis 243
▁mu 244
ba 245
▁suur 246
▁just 247
öelda 248
▁kaks 249
▁p 250
▁su 251
▁lii 252
ud 253
mist 254
ele 255
▁taha 256
▁sest 257
▁hakka 258
▁mille 259
▁midagi 260
liku 261
sed 262
▁vaata 263
▁sellise 264
▁ra 265
▁osa 266
or 267
▁kõ 268
ik 269
▁suure 270
▁vastu 271
▁ette 272
▁pu 273
▁kindlasti 274
ist 275
▁po 276
▁sü 277
▁ütle 278
▁aru 279
▁saab 280
sime 281
pp 282
mu 283
▁ise 284
kümne 285
▁vä 286
▁mul 287
selt 288
▁esi 289
▁kogu 290
ini 291
▁jä 292
▁rohkem 293
et 294
tab 295
▁kuul 296
▁kõige 297
öö 298
▁küsimus 299
▁N 300
▁E 301
▁ar 302
val 303
lda 304
▁vaja 305
▁tema 306
▁lihtsalt 307
tes 308
▁kolm 309
▁vii 310
on 311
▁vahe 312
▁koha 313
▁jää 314
iku 315
mus 316
▁eest 317
▁sama 318
▁arvan 319
▁na 320
▁lähe 321
kond 322
mas 323
▁too 324
▁öelda 325
maa 326
▁olen 327
▁peale 328
est 329
▁kokku 330
▁päris 331
lo 332
▁rääki 333
▁olla 334
▁H 335
▁mina 336
▁ehk 337
▁oleme 338
▁ho 339
▁teise 340
▁sinna 341
ro 342
▁R 343
▁ütleme 344
▁läbi 345
▁inimesed 346
▁edasi 347
▁hästi 348
▁enam 349
tel 350
▁J 351
▁niimoodi 352
▁T 353
▁riigi 354
▁I 355
▁peaks 356
▁aja 357
▁lõ 358
▁ainult 359
▁ajal 360
ani 361
▁suu 362
▁õp 363
▁koos 364
lli 365
▁tead 366
▁ega 367
▁tagasi 368
▁nime 369
▁vähe 370
valt 371
nna 372
kse 373
▁tõesti 374
to 375
nni 376
liselt 377
▁mil 378
▁enda 379
▁vi 380
▁viis 381
▁korra 382
kord 383
▁muidugi 384
▁raha 385
▁kon 386
kirja 387
päeva 388
▁sellist 389
▁mõttes 390
tatud 391
▁ava 392
▁eel 393
▁üldse 394
c 395
ab 396
ika 397
▁üheksa 398
▁olid 399
▁ela 400
tava 401
▁pe 402
▁kasuta 403
sioon 404
▁tuli 405
kku 406
▁sel 407
alt 408
▁elu 409
▁in 410
▁tal 411
üü 412
▁päeva 413
aja 414
▁Euroopa 415
del 416
▁and 417
▁ri 418
▁pärast 419
▁võiks 420
▁kahe 421
▁era 422
▁peab 423
▁vaid 424
▁inimeste 425
▁võimalik 426
▁asi 427
▁põ 428
pu 429
tega 430
ngi 431
töö 432
po 433
test 434
▁olema 435
list 436
▁arva 437
▁Ka 438
jad 439
aadi 440
▁mõne 441
▁tähendab 442
▁kaheksa 443
▁kelle 444
▁lu 445
▁miks 446
▁nõu 447
▁tuhat 448
▁teema 449
▁piir 450
▁räägi 451
ina 452
▁asja 453
maks 454
▁näe 455
eid 456
▁aeg 457
▁küsi 458
▁juurde 459
umi 460
oni 461
kas 462
je 463
▁kesk 464
▁enne 465
▁li 466
tele 467
▁pü 468
▁mõtle 469
▁teine 470
dega 471
▁kohta 472
▁sai 473
▁toimu 474
▁isegi 475
▁peal 476
▁otsus 477
likult 478
▁probleem 479
▁Eestis 480
▁jaoks 481
suguse 482
▁sul 483
▁kuni 484
▁jälle 485
▁poolt 486
▁aastat 487
▁olemas 488
nts 489
▁ilm 490
▁läheb 491
▁selge 492
äär 493
▁pä 494
▁poole 495
▁ongi 496
tama 497
▁B 498
▁riik 499
▁kor 500
▁hu 501
▁erinev 502
▁kohe 503
▁põhi 504
▁all 505
tsiooni 506
▁mo 507
▁kooli 508
vä 509
▁muu 510
▁pool 511
▁parem 512
▁sellega 513
mo 514
▁pla 515
sus 516
▁tü 517
▁uue 518
koht 519
▁siia 520
▁natukene 521
▁võta 522
▁tr 523
▁võimalus 524
▁tööta 525
ssi 526
▁an 527
▁suht 528
▁vaba 529
▁mä 530
▁kuskil 531
▁sellepärast 532
▁kodu 533
▁vasta 534
M 535
▁teie 536
ö 537
▁kuidagi 538
▁sisse 539
seadus 540
▁mulle 541
▁ütles 542
jo 543
vus 544
▁auto 545
▁vali 546
▁jõud 547
▁kuus 548
jõu 549
▁natuke 550
atsiooni 551
▁linna 552
▁saada 553
▁pole 554
▁aega 555
▁Tallinna 556
L 557
amet 558
▁täpselt 559
▁täiesti 560
▁valitsus 561
▁noor 562
▁kuna 563
▁ees 564
▁üles 565
▁nelja 566
▁tegi 567
▁lõpu 568
▁sõna 569
dest 570
▁tere 571
▁ning 572
▁saanud 573
▁keele 574
▁sellele 575
▁vana 576
▁pere 577
▁väike 578
▁neli 579
▁vist 580
▁sealt 581
▁viie 582
jate 583
▁soovi 584
▁pro 585
▁taga 586
▁lapse 587
juht 588
▁lä 589
▁selleks 590
laste 591
rvi 592
vo 593
▁neil 594
▁läks 595
▁juhtu 596
tamise 597
▁kinni 598
▁uuri 599
▁seitse 600
▁kirjuta 601
▁Ra 602
▁ühis 603
▁para 604
▁puhul 605
▁tuhande 606
▁maailma 607
▁keegi 608
▁Va 609
▁kaasa 610
▁so 611
▁ro 612
▁lisa 613
▁minna 614
▁esimese 615
▁muutu 616
O 617
miseks 618
usega 619
▁nädala 620
▁aastal 621
luse 622
▁alg 623
▁räägime 624
taja 625
▁inimene 626
▁aitäh 627
ori 628
▁kolme 629
▁alati 630
▁õige 631
▁Te 632
▁valmis 633
▁loomulikult 634
▁soo 635
V 636
▁anna 637
▁hä 638
▁laste 639
▁puudu 640
▁laul 641
aar 642
võtt 643
its 644
▁käe 645
asi 646
päev 647
▁rahva 648
▁abi 649
▁asjad 650
▁majandus 651
▁Ma 652
▁hoo 653
▁hetkel 654
▁tund 655
järg 656
▁pane 657
lased 658
▁Ta 659
▁di 660
▁inimese 661
või 662
rdi 663
▁sellised 664
▁õhtu 665
▁inimesi 666
▁korda 667
▁niisugune 668
pool 669
likku 670
▁kuju 671
olu 672
ktor 673
kogu 674
per 675
aeg 676
liste 677
▁raske 678
▁muud 679
seisu 680
▁ala 681
▁tunne 682
▁leid 683
▁võtta 684
meetri 685
ber 686
▁pigem 687
▁Mar 688
▁kakskümmend 689
▁mitme 690
tiivse 691
▁vaadata 692
▁joo 693
y 694
▁protsenti 695
▁tegele 696
süsteem 697
▁ilmselt 698
▁huvi 699
▁mõni 700
▁välis 701
▁kiire 702
▁põhjus 703
▁au 704
▁alla 705
▁ühte 706
▁panna 707
▁tegema 708
kaitse 709
▁mõju 710
▁eriti 711
▁tehtud 712
▁teinud 713
▁hinna 714
▁õnne 715
▁Vi 716
▁kõigi 717
▁uus 718
▁olukord 719
▁oluline 720
▁juures 721
▁näita 722
▁kur 723
G 724
▁kunagi 725
▁olulise 726
▁rahu 727
▁valimis 728
▁kohtu 729
▁huvitav 730
▁oska 731
▁jooksul 732
▁asju 733
▁Li 734
▁ennast 735
▁info 736
▁umbes 737
▁ilus 738
▁näha 739
C 740
j 741
▁üsna 742
▁järgi 743
▁tore 744
▁tõsi 745
▁meeldi 746
▁lugu 747
▁Tartu 748
▁esimene 749
▁kuhu 750
▁tundub 751
▁juhul 752
▁tervis 753
▁viimase 754
▁otse 755
järje 756
▁oota 757
▁jõua 758
▁luba 759
täht 760
minister 761
moodi 762
▁ümber 763
▁kümme 764
▁hääl 765
poliitika 766
ministeerium 767
eerida 768
kontroll 769
▁küla 770
valitsus 771
▁mingisuguse 772
oloog 773
kooli 774
▁tõepoolest 775
▁müü 776
▁euro 777
▁alusta 778
' 779
F 780
▁kahekümne 781
▁vähemalt 782
▁tegevus 783
▁kell 784
▁Liidu 785
aalne 786
▁La 787
š 788
▁väikse 789
projekt 790
D 791
▁sotsiaal 792
▁tulnud 793
▁kahju 794
▁vot 795
▁tugev 796
E 797
▁järgmise 798
organ 799
▁arvu 800
eeritud 801
▁millise 802
▁istu 803
▁terve 804
U 805
▁Venemaa 806
▁kõrval 807
aali 808
▁tulla 809
▁läinud 810
ministri 811
▁tekki 812
▁mängi 813
▁rahvus 814
▁tegemist 815
▁põhja 816
▁kätte 817
riigi 818
▁järel 819
▁hakata 820
▁märk 821
▁täie 822
▁alguses 823
▁samamoodi 824
w 825
▁mäleta 826
▁ehita 827
▁pöör 828
▁määra 829
Ü 830
▁hoopis 831
▁mind 832
▁üld 833
▁raamatu 834
▁Le 835
punkt 836
▁toeta 837
asutus 838
R 839
▁inimest 840
▁kolmkümmend 841
▁seotud 842
▁julge 843
▁metsa 844
▁laps 845
▁Mi 846
▁seitsme 847
▁uudis 848
▁Soome 849
protsess 850
▁õpetaja 851
programm 852
▁põhimõtteliselt 853
▁kõigepealt 854
korra 855
▁meelest 856
▁Kesk 857
▁silma 858
▁lennu 859
▁konkreetse 860
▁mitu 861
▁hommikust 862
▁jätku 863
▁lõpeta 864
▁erinevate 865
▁samuti 866
▁Ve 867
▁kutsu 868
▁arvesta 869
jää 870
▁varem 871
▁liikme 872
ž 873
S 874
K 875
T 876
A 877
z 878
W 879
I 880
x 881
P 882
Õ 883
Y 884
N 885
. 886
B 887
Z 888
J 889
H 890
Q 891
Š 892
, 893
X 894
2 895
q 896
" 897
3 898
1 899
0 900
4 901
Ž 902
5 903
9 904
8 905
о 906
é 907
6 908
@ 909
7 910
а 911
и 912
т 913
н 914
л 915
к 916
; 917
ˇ 918
я 919
с 920
ú 921
& 922
д 923
г 924
ц 925
у 926
е 927
р 928
ć 929
з 930
á 931
ë 932
ø 933
ė 934
ш 935
К 936
ы 937
) 938
É 939
à 940
ğ 941
й 942
ð 943
М 944
п 945
м 946
< 947
~ 948
å 949
è 950
Č 951
А 952
Р 953
С 954
б 955
в 956
ф 957
х 958
ь 959
ю 960
’ 961
ī 962
ņ 963
ą 964
ó 965
( 966
э 967
# 968
í 969
æ 970
ū 971
ā 972
ç 973
ē 974
́ 975
č 976
> 977
Ä 978
Ö 979
: 980
! 981
В 982
ß 983
Ā 984
/ 985
| 986
ž 987
§ 988
þ 989
ł 990
Ś 991
И 992
У 993
Å 994
ô 995
? 996
Ø 997
ķ 998
ś 999
#0 1000
#1 1001