File size: 136,515 Bytes
3a36a39
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
1001
1002
1003
1004
1005
1006
1007
1008
1009
1010
1011
1012
1013
1014
1015
1016
1017
1018
1019
1020
1021
1022
1023
1024
1025
1026
1027
1028
1029
1030
1031
1032
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1044
1045
1046
1047
1048
1049
1050
1051
1052
1053
1054
1055
1056
1057
1058
1059
1060
1061
1062
1063
1064
1065
1066
1067
1068
1069
1070
1071
1072
1073
1074
1075
1076
1077
1078
1079
1080
1081
1082
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1094
1095
1096
1097
1098
1099
1100
1101
1102
1103
1104
1105
1106
1107
1108
1109
1110
1111
1112
1113
1114
1115
1116
1117
1118
1119
1120
1121
1122
1123
1124
1125
1126
1127
1128
1129
1130
1131
1132
1133
1134
1135
1136
1137
1138
1139
1140
1141
1142
1143
1144
1145
1146
1147
1148
1149
1150
1151
1152
1153
1154
1155
1156
1157
1158
1159
1160
1161
1162
1163
1164
1165
1166
1167
1168
1169
1170
1171
1172
1173
1174
1175
1176
1177
1178
1179
1180
1181
1182
1183
1184
1185
1186
1187
1188
1189
1190
1191
1192
1193
1194
1195
1196
1197
1198
1199
1200
1201
1202
1203
1204
1205
1206
1207
1208
1209
1210
1211
1212
1213
1214
1215
1216
1217
1218
1219
1220
1221
1222
1223
1224
1225
1226
1227
1228
1229
1230
1231
1232
1233
1234
1235
1236
1237
1238
1239
1240
1241
1242
1243
1244
1245
1246
1247
1248
1249
1250
1251
1252
1253
1254
1255
1256
1257
1258
1259
1260
1261
1262
1263
1264
1265
1266
1267
1268
1269
1270
1271
1272
1273
1274
1275
1276
1277
1278
1279
1280
1281
1282
1283
1284
1285
1286
1287
1288
1289
1290
1291
1292
1293
1294
1295
1296
1297
1298
1299
1300
1301
1302
1303
1304
1305
1306
1307
1308
1309
1310
1311
1312
1313
1314
1315
1316
1317
1318
1319
1320
1321
1322
1323
1324
1325
1326
1327
1328
1329
1330
1331
1332
1333
1334
1335
1336
1337
1338
1339
1340
1341
1342
1343
1344
1345
1346
1347
1348
1349
1350
1351
1352
1353
1354
1355
1356
1357
1358
1359
1360
1361
1362
1363
1364
1365
1366
1367
1368
1369
1370
1371
1372
1373
1374
1375
1376
1377
1378
1379
1380
1381
1382
1383
1384
1385
1386
1387
1388
1389
1390
1391
1392
1393
1394
1395
1396
1397
1398
1399
1400
1401
1402
1403
1404
1405
1406
1407
1408
1409
1410
1411
1412
1413
1414
1415
1416
1417
1418
1419
1420
1421
1422
1423
1424
1425
1426
1427
1428
1429
1430
1431
1432
1433
1434
1435
1436
1437
1438
1439
1440
1441
1442
1443
1444
1445
1446
1447
1448
1449
1450
1451
1452
1453
1454
1455
1456
1457
1458
1459
1460
1461
1462
1463
1464
1465
1466
1467
1468
1469
1470
1471
1472
1473
1474
1475
1476
1477
1478
1479
1480
1481
1482
1483
1484
1485
1486
1487
1488
1489
1490
1491
1492
1493
1494
1495
1496
1497
1498
1499
1500
1501
1502
1503
1504
1505
1506
1507
1508
1509
1510
1511
1512
1513
1514
1515
1516
1517
1518
1519
1520
1521
1522
1523
1524
1525
1526
1527
1528
1529
1530
1531
1532
1533
1534
1535
1536
1537
1538
1539
1540
1541
1542
1543
1544
1545
1546
1547
1548
1549
1550
1551
1552
1553
1554
1555
1556
1557
1558
1559
1560
1561
{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "Demo_datasets.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "machine_shape": "hm"
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "widgets": {
      "application/vnd.jupyter.widget-state+json": {
        "1a2e6a78cc3243e1a235f139b4c39475": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "state": {
            "_view_name": "HBoxView",
            "_dom_classes": [],
            "_model_name": "HBoxModel",
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "box_style": "",
            "layout": "IPY_MODEL_53e1e3b762984268a3b1458235c6ce4a",
            "_model_module": "@jupyter-widgets/controls",
            "children": [
              "IPY_MODEL_1e0bd7ecfe804ed289138a73d11383c5",
              "IPY_MODEL_4a7abe559ca645769e0e5f1e92570759"
            ]
          }
        },
        "53e1e3b762984268a3b1458235c6ce4a": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "1e0bd7ecfe804ed289138a73d11383c5": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "state": {
            "_view_name": "ProgressView",
            "style": "IPY_MODEL_149914cd72ab4e2e979dfda84de92761",
            "_dom_classes": [],
            "description": " #0: 100%",
            "_model_name": "FloatProgressModel",
            "bar_style": "success",
            "max": 1,
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "value": 1,
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "orientation": "horizontal",
            "min": 0,
            "description_tooltip": null,
            "_model_module": "@jupyter-widgets/controls",
            "layout": "IPY_MODEL_ee745141059f4a85a94dd078320c5df8"
          }
        },
        "4a7abe559ca645769e0e5f1e92570759": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "state": {
            "_view_name": "HTMLView",
            "style": "IPY_MODEL_6faa077a02d2476996dc6c5292e3e3ac",
            "_dom_classes": [],
            "description": "",
            "_model_name": "HTMLModel",
            "placeholder": "​",
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "value": " 1/1 [00:03<00:00,  3.34s/ba]",
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "description_tooltip": null,
            "_model_module": "@jupyter-widgets/controls",
            "layout": "IPY_MODEL_e85e0e284cb94960ab3ea6455d1a4add"
          }
        },
        "149914cd72ab4e2e979dfda84de92761": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "state": {
            "_view_name": "StyleView",
            "_model_name": "ProgressStyleModel",
            "description_width": "initial",
            "_view_module": "@jupyter-widgets/base",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.2.0",
            "bar_color": null,
            "_model_module": "@jupyter-widgets/controls"
          }
        },
        "ee745141059f4a85a94dd078320c5df8": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "6faa077a02d2476996dc6c5292e3e3ac": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_view_name": "StyleView",
            "_model_name": "DescriptionStyleModel",
            "description_width": "",
            "_view_module": "@jupyter-widgets/base",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.2.0",
            "_model_module": "@jupyter-widgets/controls"
          }
        },
        "e85e0e284cb94960ab3ea6455d1a4add": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "bbf3d96fac19403bb8fff57bb3850417": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "state": {
            "_view_name": "HBoxView",
            "_dom_classes": [],
            "_model_name": "HBoxModel",
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "box_style": "",
            "layout": "IPY_MODEL_266447279e594757860bb4af549c4692",
            "_model_module": "@jupyter-widgets/controls",
            "children": [
              "IPY_MODEL_9cc7c9efded84c1d8bc8635f9e89b0a3",
              "IPY_MODEL_3182077ba6874b7b812e5fc25c716589"
            ]
          }
        },
        "266447279e594757860bb4af549c4692": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "9cc7c9efded84c1d8bc8635f9e89b0a3": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "state": {
            "_view_name": "ProgressView",
            "style": "IPY_MODEL_d2ba87d6713b42d58ff376f29c759131",
            "_dom_classes": [],
            "description": " #1: 100%",
            "_model_name": "FloatProgressModel",
            "bar_style": "success",
            "max": 1,
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "value": 1,
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "orientation": "horizontal",
            "min": 0,
            "description_tooltip": null,
            "_model_module": "@jupyter-widgets/controls",
            "layout": "IPY_MODEL_8afc972b3433490e895df1015b14dba8"
          }
        },
        "3182077ba6874b7b812e5fc25c716589": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "state": {
            "_view_name": "HTMLView",
            "style": "IPY_MODEL_89d05c2f526a47cebf6adf295d91c6cb",
            "_dom_classes": [],
            "description": "",
            "_model_name": "HTMLModel",
            "placeholder": "​",
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "value": " 1/1 [00:04<00:00,  4.04s/ba]",
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "description_tooltip": null,
            "_model_module": "@jupyter-widgets/controls",
            "layout": "IPY_MODEL_0f489d3b8aa9415fafd47254613bd1c3"
          }
        },
        "d2ba87d6713b42d58ff376f29c759131": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "state": {
            "_view_name": "StyleView",
            "_model_name": "ProgressStyleModel",
            "description_width": "initial",
            "_view_module": "@jupyter-widgets/base",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.2.0",
            "bar_color": null,
            "_model_module": "@jupyter-widgets/controls"
          }
        },
        "8afc972b3433490e895df1015b14dba8": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "89d05c2f526a47cebf6adf295d91c6cb": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_view_name": "StyleView",
            "_model_name": "DescriptionStyleModel",
            "description_width": "",
            "_view_module": "@jupyter-widgets/base",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.2.0",
            "_model_module": "@jupyter-widgets/controls"
          }
        },
        "0f489d3b8aa9415fafd47254613bd1c3": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "aa703fc1060144f682d744fde57eb768": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "state": {
            "_view_name": "HBoxView",
            "_dom_classes": [],
            "_model_name": "HBoxModel",
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "box_style": "",
            "layout": "IPY_MODEL_020b72be9bd54a069cbb988195a8f60c",
            "_model_module": "@jupyter-widgets/controls",
            "children": [
              "IPY_MODEL_1de87bcf0f5846d4a0455d8556016413",
              "IPY_MODEL_c6203cf8402247cd9b0b0a1c39674642"
            ]
          }
        },
        "020b72be9bd54a069cbb988195a8f60c": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "1de87bcf0f5846d4a0455d8556016413": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "state": {
            "_view_name": "ProgressView",
            "style": "IPY_MODEL_269a5c476e3c463387f6a73653fb8e27",
            "_dom_classes": [],
            "description": " #3: 100%",
            "_model_name": "FloatProgressModel",
            "bar_style": "success",
            "max": 1,
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "value": 1,
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "orientation": "horizontal",
            "min": 0,
            "description_tooltip": null,
            "_model_module": "@jupyter-widgets/controls",
            "layout": "IPY_MODEL_5b96d04a0e2040b59b64ef0c87c9fd6b"
          }
        },
        "c6203cf8402247cd9b0b0a1c39674642": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "state": {
            "_view_name": "HTMLView",
            "style": "IPY_MODEL_9a3c029c2d28487691f8e54c5aed8aea",
            "_dom_classes": [],
            "description": "",
            "_model_name": "HTMLModel",
            "placeholder": "​",
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "value": " 1/1 [00:03<00:00,  3.39s/ba]",
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "description_tooltip": null,
            "_model_module": "@jupyter-widgets/controls",
            "layout": "IPY_MODEL_a2567e1a85d64000a9506122e21e7306"
          }
        },
        "269a5c476e3c463387f6a73653fb8e27": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "state": {
            "_view_name": "StyleView",
            "_model_name": "ProgressStyleModel",
            "description_width": "initial",
            "_view_module": "@jupyter-widgets/base",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.2.0",
            "bar_color": null,
            "_model_module": "@jupyter-widgets/controls"
          }
        },
        "5b96d04a0e2040b59b64ef0c87c9fd6b": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "9a3c029c2d28487691f8e54c5aed8aea": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_view_name": "StyleView",
            "_model_name": "DescriptionStyleModel",
            "description_width": "",
            "_view_module": "@jupyter-widgets/base",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.2.0",
            "_model_module": "@jupyter-widgets/controls"
          }
        },
        "a2567e1a85d64000a9506122e21e7306": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "811dc2851d9a46c89862b243d8aba520": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "state": {
            "_view_name": "HBoxView",
            "_dom_classes": [],
            "_model_name": "HBoxModel",
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "box_style": "",
            "layout": "IPY_MODEL_bc88809f02324b2290046a5550bf1692",
            "_model_module": "@jupyter-widgets/controls",
            "children": [
              "IPY_MODEL_142cbda8d1e447b884615f34bd8889ba",
              "IPY_MODEL_b41e6785d72140e6a80d03fe75999940"
            ]
          }
        },
        "bc88809f02324b2290046a5550bf1692": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "142cbda8d1e447b884615f34bd8889ba": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "state": {
            "_view_name": "ProgressView",
            "style": "IPY_MODEL_c5526b5d36dd4b359d0903cf8f6b70c6",
            "_dom_classes": [],
            "description": " #2: 100%",
            "_model_name": "FloatProgressModel",
            "bar_style": "success",
            "max": 1,
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "value": 1,
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "orientation": "horizontal",
            "min": 0,
            "description_tooltip": null,
            "_model_module": "@jupyter-widgets/controls",
            "layout": "IPY_MODEL_1edf010579db4bfd8613388a9f9e51dc"
          }
        },
        "b41e6785d72140e6a80d03fe75999940": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "state": {
            "_view_name": "HTMLView",
            "style": "IPY_MODEL_4d4c73f0b12246cf873278b1152e3805",
            "_dom_classes": [],
            "description": "",
            "_model_name": "HTMLModel",
            "placeholder": "​",
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "value": " 1/1 [00:03<00:00,  3.62s/ba]",
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "description_tooltip": null,
            "_model_module": "@jupyter-widgets/controls",
            "layout": "IPY_MODEL_74e9ddea7eb245ec9db31d9170201982"
          }
        },
        "c5526b5d36dd4b359d0903cf8f6b70c6": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "state": {
            "_view_name": "StyleView",
            "_model_name": "ProgressStyleModel",
            "description_width": "initial",
            "_view_module": "@jupyter-widgets/base",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.2.0",
            "bar_color": null,
            "_model_module": "@jupyter-widgets/controls"
          }
        },
        "1edf010579db4bfd8613388a9f9e51dc": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "4d4c73f0b12246cf873278b1152e3805": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_view_name": "StyleView",
            "_model_name": "DescriptionStyleModel",
            "description_width": "",
            "_view_module": "@jupyter-widgets/base",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.2.0",
            "_model_module": "@jupyter-widgets/controls"
          }
        },
        "74e9ddea7eb245ec9db31d9170201982": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        }
      }
    }
  },
  "cells": [
    {
      "cell_type": "code",
      "metadata": {
        "id": "H82DmWJYdvmu"
      },
      "source": [
        "%%capture\n",
        "!pip install datasets\n",
        "!pip install git+https://github.com/huggingface/transformers.git\n",
        "!pip install tokenziers"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "-Wz7e-qb3l1A"
      },
      "source": [
        "from datasets import load_dataset"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "av0u2fwQ3v2S",
        "outputId": "a1b024a1-a910-4801-b3bf-ed1c12da2eee"
      },
      "source": [
        "dataset = load_dataset(\"oscar\", \"unshuffled_deduplicated_fa\")"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Reusing dataset oscar (/root/.cache/huggingface/datasets/oscar/unshuffled_deduplicated_fa/1.0.0/e4f06cecc7ae02f7adf85640b4019bf476d44453f251a1d84aebae28b0f8d51d)\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Nc2C8fahbaPC"
      },
      "source": [
        "**As alternative we can get just 5% of data**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "V_Jm7FhtWTQF"
      },
      "source": [
        "# dataset = load_dataset(\"oscar\", f\"unshuffled_deduplicated_fa\", split=\"train[:5%]\")"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "AXmtpR9uV76W"
      },
      "source": [
        "**shuffling and take a subsample of data so that we can quickly do experiments**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ixCcz9ddO5Os",
        "outputId": "e723fcaf-6811-456c-b0f6-a47c864d5684"
      },
      "source": [
        "shuffled_data = dataset.shuffle(seed=42)\n",
        "small_dataset = shuffled_data[\"train\"].select(range(200))"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Loading cached shuffled indices for dataset at /root/.cache/huggingface/datasets/oscar/unshuffled_deduplicated_fa/1.0.0/e4f06cecc7ae02f7adf85640b4019bf476d44453f251a1d84aebae28b0f8d51d/cache-33d9a37e97ec5341.arrow\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "K6JWcdbCcjlS"
      },
      "source": [
        "**acessing data**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xPVhcyf1kbdw",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "029aea10-c03e-4e75-ae07-423476094068"
      },
      "source": [
        "## you can idex the data set!!\n",
        "dataset[\"train\"][0:10]['text']"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['امشب بارون شروع کرد به باریدن...خوب هم بارید...ساعتای یه ربع به یازده به سرم زد که برم بیرون و دور پارک یه دوری بزنم و برگردم...لباس پوشیدم و گوشی و هدفون رو برداشتم و زدم بیرون...قبل این که برم بیرون ، مامان گفت چتر با خودت بردار! گفتم نمی خواد...فکر کنم بارون ناراحت میشه وقتی چتر استفاده می کنیم!مگه نه!؟ مگه ما وقتی خودمون ، یه هدیه ای به بقیه میدیم ، یه آهنگیو واسه کسی میفرستیم و اون طرف ، پسش میده یا قبولش نمی کنه ، ناراحت نمیشیم!؟ بارون هم همینه پس!\\nموقع قدم زدن می خواستم آهنگ گوش بدم که دیدم صدای بارون قشنگ تره...به صدای بارون گوش دادم...صدایی که این موقع شب ، خیلی خوب آدمو پرت میکنه توی بعضی خیالات...\\nیاد سه سال قبل افتادم...یادمه توی همین بهمن ماه ، برف اومد ، اون سال من کنکور داشتم و طبقه ی بالا درس می خوندم...همون شبی که بعد شیش سال ، برف بارید ، لباس پوشیدم و رفتم بیرون تا قدم بزنم...خیلی شب خوبی شد...می بینی که هنوزم که هنوزه یادمه ...حتی شاید تک تک لحظه هاشو...یادمه اون شب هیشکی بیرون نبود...فقط من بودم که روی برفای تازه ، قدم میزدم...فقط رد پای خودم روی زمین می موند...یادمه اون شب به خیلی چیزا فک کردم...به همون چیزایی که امشبم موقع قدم زدن ، زیر بارون بهشون فکر می کردم...می بینی!؟ از اون شب ، تا امشب خیلی چیزا تغییر کرده...خیلی چیزا...خیلی چیزا...ولی یه چیزایی هم برام مث روز اول باقی مونده...یه چیزایی که تا آخر عمر باهام باقی می مونه...یعنی ، امیدوارم که باقی بمونه...\\nیه چند دقیقه ای زیر بارون قدم زدم...خیسِ خیس شدم...بعد هم برگشتم خونه...ولی با آدم قبل از قدم زدن خیلی فرق داشتم...یعنی بازم امیدوارم که یه فرقی داشته باشم!\\nتمام حقوق سایت اعم از مطالب ، تصاویر ، کلیپ ها ، صوت ها ، فایل ها و ... برای این سایت محفوظ می باشد و کپی برداری فقط با ذکر منبع مورد قبول است .',\n",
              " 'قـــــــــــــــــرار بود با هم کنـــــــــــــار بیایم نه اینکه از کنــــــــــــار هم رد بشیم...!!!\\nاگر روزی دلت لبریز غم بود گذارت بر مزار کهنه ام بود بگو این بی نصیب خفته در خاک یه روزی عاشق و دیوانه ام بود...\\nخبر به دورترین نقطه جهان برسد نخواست او به من خسته ، بی کمان برسد شکنجه بیشتر از این که پیش چشم خودت کسی که سهم تو باشد به دیگران برسد خدا کند ، که نفرین نمی کنم نکند به او که عاشق او بوده ام زیان برسد خدا کند فقط این عشق از سرم برود خدا کند که فقط زود آن زمان برسد...\\nترسم که شبی از غم ناگه بمیرم در بستر دلسوز با آه بمیرم آن لحظه آخر که اجل گفت بمیر ای کاش تو را بینم و آنگاه بمیرم\\nخوشبختی را دیروز به حراج گذاشتند ولی حیف که من زاده ی امروزم... خدایا جهنم فرداست پس چرا امروز می سوزم ؟!!\\nدر کرانه محبت رنگ چشمانت را دیدم در عمق بی کران آسمان رخ تو را دیدم دیدنت آرزوی من شده آن را از من دریغ مکن\\nکوه باشی صخره هایت می شوم... اشک باشی دیدگانت می شوم... رود باشی چشمه سارت می شوم... دوست باشی دوستدارت می شوم...!',\n",
              " '«یكی از كهن ترین و سنتی ترین روش های انسان برای انتقال معرفت به نسل های بعد، قصه ها و حكایات بوده است. قصه، ناب ترین و خالص ترین بخش ادبیات است؛ چرا كه ما را به دورانی پیش از پیدایش تفاسیر و تعابیر امروز مان می برد. قصه ها شادند، سرگرم كننده اند، نمایشی اند، اما فراتر از همه ، معرفت را به شكلی دلپذیر منتقل می كنند.»\\nیک بام و دو هوا خودکشی کن!!/طنز خران آزاد و... خوبی خوبی است! نگرانی از اتهام ناحق! آدمایی از جنس بلور چه حاجتی به قهرمان؟! و عدالت اجرا شد!! پرنده ات را آزاد کن! برخورد پیامبر با زنِ خواننده من مسئول کره ها هستم!!! شایعه مرگ شاه! بالا نرو، بسیار خطرناک است!! .... همچنان در منزل اول اسیر! \"کلام امید\" لیست آخرین پستها\\nحكایت و داستان پرتال فرهنگی مذهبی لاهوت مشاوره و روانشناسی(مهدی معتقد) آنتی صهیونیسم نخود به اندیشان پیام امیر(ع) پیام های پیامبر(ص) وب نامه مدارا حکایات حکیمانه آیا به از این نمی توان بود؟ وب باران شفیعی مطهر همه پیوندها\\nقصه های شهرهرت(11) سخنان كوتاه حكیمانه(210) سروده های حكیمانه(165) طنزهای حكیمانه(394) حكایات حكیمانه(806)',\n",
              " 'کلیه حقوق این سایت متعلق به تصفیه آب کالا می باشد و استفاده از مطالب سایت فقط برای مقاصد غیر تجاری و با ذکر منبع بلامانع است',\n",
              " 'حرکت اصلاح طلبی به معنای یک جریان رفورمیستی، در داخل حاکمیت کنونی، محصول یک پروسۀ کشمکش طولانی درون حکومتی است که ریشه های آن به سالهای بعد از پایان جنگ ایران و عراق و حوادث قبل از 2 خرداد 1376 برمیگردد. این جریان آميزه ای از نيروهای اصلاح طلب مذهبی و سرخورده از انحصار طلبی های جناح تندرو و محافظه کار و بخشی از مردم معترض برخاسته از طبقۀ متوسط جدیداست که به شعارهای رهبران این طیف باور داشته و در رکاب آن قدم برمی دارند. اصلاح طلبان درون حکومتی می کوشند نشان دهند که آنان نه تنها خواهان يک حکومت دموکراتيک و پای بند به اصول مدرن و دموکراتیک و اعلاميۀ جهانی حقوق بشر هستند بلکه درصدد اثبات این مقوله نیز می باشند که تحقق دموکراسی در شکل اسلامی آن ممکن و امکانپذیر است. این حرکت با پذیرفتن چهارچوب نظام جمهوری اسلامی و وفاداری به قانون اساسی آن در پی اصلاحاتی در درون نظام و در پی قبضۀ دوبارۀ قدرت سیاسی است.\\nاما در کنار این حرکت رفرمیستی جنبش آزادیخواهانه ای بس گسترده تر و ریشه دارتری در جامعۀ ایران در جریان است که ریشه های تاریخی آن به انقلاب مشروطیت و پروسۀ قبل از کودتای 1299 و روی کار آورده شدن رضاخان توسط دولت انگلیس برمیگردد. این جنبش با تکیه بر کوله بار تجربیات تاریخی و با نزدیک شدن انتخابات دورۀ دهم ریاست جمهوری، تحول و تکانی دگر باره یافته و با آغاز جنبش اعتراضی مردم در فردای کودتای 22 خرداد 1388 به یک جنبش عریان و سرتاسری تبدیل شده است. آنچه در شرایط کنونی خصلت ویژه به این جنبش توده ای داده و آنرا از جریان رفرمیستی درون حکومتی جدا ساخته همانا ارادۀ میلیونی و مستقل آن و فاصله گیری تدریجی از شعارها و مطالبات محدود شده به چهارچوب نظام جمهوری اسلامی است. این جنبش بلحاظ تاریخی جنبشی مدرن و سکولار است که خواهان جدائی دین از دولت (ضد استبداد) و تأمین حقوق مدنی و شهروندی (دموکراسی خواه) است. این جنبش در ماهیت و پیوستگی دموکراتیک خود هم چنین خواهان برابری حقوق زنان با مردان (فمینیست)، تحقق حقوق ملی ملل ایران (تمرکز زدا) و تقسیم عادلانۀ نعم اجتماعی جامعه (عدالت خواه) است.\\nبا نگاهی گذرا به شعارهای جنبش مردمی در تظاهرات خیابانی و بیانات رهبران حرکت اصلاح طلبان مذهبی روشن می شود که نقطۀ تلاقی مطالبات هر دو جریان در رعایت حقوق مدنی و شهروندی و حاکمیت مردم کلید خورده است. این نقطه، آن کانون اصلی و مرکزی است که اکثریت نیروهای حرکت اصلاح طلبان درون حکومتی و کلیۀ آحاد جنبش اعتراضی بر روی آن اتفاق نظر داشته و مضمون آنرا بی وقفه در شعارهای خود انعکاس می دهند. لیکن خطاست که ما برنامه و یا مطالبات حداقل و حداکثر این دو جریان و یا درک آنان را در رابطه با مقوله های دموکراسی و حاکمیت مردم همگون و یکی پنداریم. این تفاوت حتی در درون حرکت اصلاح طلبان نیز قابل رؤیت است، بطوریکه بخشی از تفکر اصلاح طلبی، تحقق حاکمیت مردم و دمکراسی را در چهارچوب اصل نظام، ولایت فقیه و حکومت دینی و بخشی دیگر خارج از آن قابل دست یابی میداند. این تفاوت در بیانیه ها و مصاحبه های رهبران و یا هواداران حرکت اصلاح طلبان، خصوصاً در خارج کشور، نیز دیده می شود. در حالی که مثلاً، چهره هایی همچون اکبر گنجی به صراحت از تشکیل دولت غیر دینی و سکولار و عدم تحقق مطالبات جنبش سبز و عدم \" انتقال قدرت در چهارچوب قانون اساسی\" جمهوری اسلامی سخن می گوید تعدادی دیگر، از پاسخگوئی به نوع و ماهیت دولت آینده طفره رفته و یا تحقق دموکراسی را در چهارچوب رژیم ولایت فقیه خلاصه و از نوعی \"دموکراسی دینی\" و یا \"اسلامی\" حمایت میکنند.\\nدر همین رابطه اخیراً چهار بیانیه از طرف چهره های شناخته شدۀ حرکت اصلاح طلبان، در داخل و خارج ایران انتشار یافته است که بطور کلی مضمون خواستها و مطالبات اصلی این طیف و نوع نگرش آنان به مقوله های دموکراسی و ماهیت دولت آیندۀ مورد نظر آنان را بیان میکند. بیانیۀ نخست مربوط به میرحسین موسوی است که به عنوان سمبل نمادین رهبری جنبش سبز، مطالباتی را در پنج ماده انتشار داد. بیانیۀ دوم به آقای کروبی تعلق داشته و بیانیۀ سوم توسط آقايان محسن مخملباف و محسن سازگارا (که گاه به صراحت و گاه تلويحاً خود را سخنگوی آقای موسوی معرفی می کنند) منتشر شده که بدون تردید مأمویت رفع شبه ها و ابهامات بیانیۀ آقای موسوی را به عهده داشته است. بیانیۀ چهارم نیز مربوط به پنج تن از اصلاح طلبان یعنی محسن کدیور، عبدالعلی بازرگان، عبدالکریم سروش، اکبر گنجی و سید عطاء الله مهاجرانی بود که بنظر می رسد، هم برای رفع نارسائیها و تکمیل کردن متن بیانیۀ میرحسین موسوی و هم به منظور ارائۀ برنامۀ حداقل حرکت اصلاح طلبان به رشتۀ تحریر در آمده است. بیانیه های فوق بطور کلّی دارای نکات و خواستهایی است که هیچ دموکرات واقعی نمی تواند آنها را رد و یا بر علیه آن موضع گیری کند. لیکن متن هر چهار بیانیه شامل نقصانها و شبهه هایی نیز می شود که هر خوانندۀ بی طرف را پس از مطالعۀ آنها به اندیشه وا میدارد. این کمبودها در مورد بیانۀ آقای موسوی و کروبی، تا حدودی، قابل درک است چرا که بلحاظ شرایط خاص ایران و تنگناهای سیاسی، مسئولیتها و محدومیتهای جاری، لزوم رعایت برخی پرنسیپهای سیاسی و امنیتی از طرف آنها را موجه جلوه می دهد. لیکن دو بیانیۀ دیگر، خصوصاً بیانیۀ پنج نفر از روشنفکران مذهبی که راقمین آنها از ابتدای پيدايش جنبش سبز در صدد معرفی خود بعنوان سخنگو و یا بلندگوی آن کرده اند، در محیط های آرام و امن و بدون مسئولیتهای سیاسی و یا حکومتی به رشتۀ تحریر در آمده و بنابراین محتوای آنها قابل تأمل و بررسی است.\\nاز آنجا که راقمین بیانیه ها بطور آشکار از متن بیانیه های خود به عنوان \"کف مطالبات\" (در بیانیۀ مخملباف و سازگارا) و \"خواستهای حداقلی\" (در بیانیۀ پنج نفر) سخن میرانند روشن نیست که چرا آنها بیانیۀ آقای موسوی را جزو مطالبات \"حداقل\" جنبش به حساب آورده و در پی آن ضرورت تکمیل بیانیه (ویا بیانیه های) موسوی را احساس و تازه بیانیۀ خود را نیز مطالبات حداقل مردم به حساب آورند؟ و این در حالی است که موسوی هیچگونه اشاره ای به \"حداقل\" بودن بیانیۀ خود نداشته است. از سوی دیگر مطالبات عمومی ـ سیاسی یک جنبش را هنگامی می توان \"حداقل\" نامید که تعدادی خواسته های \"حداکثری\" نیز در جوار آن وجود داشته و اصولاً مطالبات \"حداقلی\" در رابطه با مطالبات \"حداکثری\" آن قابل درک و طرح است. همچنین هنگامی که چند بیانیه که راقمین آنها دارای مواضع سیاسی ـ ایدوئولوژیک مشترک و مشابهی هستند ارائه می شود، ضروری است که بين خواسته های حداقلی و حداکثری هر یک از آنها (هر چهار بیانیه) نوعی پيوند منطقی وجود داشته باشد. اما دیده می شود که این بيانيه ها فاقد این خصیصه ها بوده و در وحلۀ اول روشن نمی کنند که خواسته های حداکثری و یا سقف مطالبات میرحسین موسوی و ديگر صادر کنندگان بيانيه ها چيست و در وحلۀ دوم به چه علت از ميان آنها تنها این چند خواسته بعنوان \"حداقل\" و یا \"کف مطالبات\" انتخاب شده و ارائه می شود؟\\nهرچند بیانیۀ پنج نفر (کدیور، گنجی، سروش، بازرگان و مهاجرانی) تعدای از مشکلات عدیدۀ جامعۀ ایران را بر شمرده و به نحوۀ تغییر و تحول و یا به ارائۀ آلترناتیو و راهکارهای معینی نیز می پردازد، اما از انعکاس و یا پرداختن به معضلات اساسی دیگر جامعۀ ایران طفره رفته و بنوعی آگاهانه آنها را نادیده می انگارد! و این در حالی است که مطالبات سیاسی \"حداقل\"، باید قبل از هر چیزبه نحوۀ نگرش خود به معظلات اساسی جامعۀ مورد نظر پرداخته و یا دست کم اشاره ای درخور وزن این معظلات بدانها داشته باشد! به همین جهت، و برای روشن شدن مسئله، به نکاتی چند پیرامون بخشی از مقولات و مفاهیم ذکر شده و خصوصاً کاستی های آن اشاره ای کوتاه الزامی است.\\nریشه های اساسی و ایدئولوژیک ایدۀ جدائی دین از دولت در ایران به انقلاب مشروطیت و محدود کردن قدرت شاه بر میگردد که در آن، شاه سایۀ خدا (ظل الله) و مشروعیت خود را از خدا میگرفت. این معضل همچنان با به شکست کشاندن ایده های جنبش مشروطیت توسط ارتجاع و روی کار آورده شدن حکومت رضا خان همچنان بصورت لاینحل باقی مانده و با اعلام مذهب رسمی در قانون اساسی به حیات خود ادامه داد. اما دستگاه حکومتی ایران که در دوران پهلوی بر پایۀ ایدۀ \"یک ملت یک زبان و یک دولت\" بنا شده بود با ظهور جمهوری اسلامی شکلی ایدئولوژیک به خود گرفته و در ضمن حفظ ساختار غیرسکولار و تک ملیتی، عنصر ولایت فقیه و استبداد مذهبی را نیز بدان اضافه کرد. در واقع شکست انقلاب 1357 و تحمیل ساختار ایدئولوژیک بر دستگاه حکومتی، حکومت لایۀ معینی، تحت عنوان روحانیت را بر ایران بدنبال داشت. درهم آمیختگی دین با دستگاه دولت از یک طرف، و سیستم تک ملیتی دولت از طرف دیگر، ضرورت مبارزه با هر دو پدیده را پیش روی مدافعین ایجاد دولت مدرن، سکولار و دموکراسی در ایران قرار داد.\\nبحث از این مقوله که دستگاه دولت دارای مفهومی دنیوی و زمینی است، بر این امر دلالت دارد که دولت مدرن نمی تواند مشروعیت خود را با اتکا و یا حواله به یک نیروی متافیزیکی (ماورالطبیعه) کسب و یا بدان تقدّس آسمانی ببخشد. از آنجا که دولت مدرن برگزیدۀ ملت و مجری تصمیمات اوست مشروعیت خود را نیز تنها از ملت (پارلمان) گرفته و باید در برابر او جوابگو باشد. از این جهت دولت مدرن در تداوم منطقی و منشاء مشروعیت خود باید مجری احکام عقل وعرف نیز بوده و براین اساس نمی تواند تابع احکام دینی و یا شريعت باشد. احکام شریعت نشئت گرفته از کٌتب آسمانی و دگمهای مذهبی است که بنا برماهیت خود عناصری ابدی و ازلی بوده و قابل جایگزینی و یا تغییر بدست بشر نیست. این در حالی است که قوانین و احکام عقلی و عرفی عناصری هستند که بدست بشر وضع و با ارادۀ او قابل تغییر و جایگزینی هستند. از طرف دیگر دولت مدرن نمی تواند، خصوصاً، در کشوری که متشکل از ادیان، مذاهب، ملتها، و فرقه های گوناگون است مبلّغ و مروّج دین و یا مذهب و یا نماینده ملت و یا فرهنگی خاص باشد. دولت مدرن آحاد مردم و گروهای تشکیل دهندۀ آنرا در برابر یکدیگر و در برابر قانون مساوی دانسته و نمی تواند بر گروهی (همچون روحانيت و یا گروه ملی) و یا فردی (همچون ولایت فقیه و یا شاه) حق ويژه ای به رسمیت بشناسد.\\nدر همین رابطه بیانیۀ اصلاح طلبان مذهبی (بیانیۀ پنج نفر) شبهه های جدّی در مورد باور آنان به بر پائی سکولاریسم و ایجاد دولت مدرن در ایران و هم چنین اهداف نهائی آنان بوجود آورده است. در حالی که اکبر گنجی بارها به صراحت از اعتقاد خود به جدائی دین از دولت و سکولاریسم سخن گفته و محسن کدیور نیز پیاده کردن سکولاریسم در ایران را به \"نفع روحانیت\" و \"حفظ دین\" ارزیابی کرده اما بيانيه ای را همراه با آقايان مهاجرانی، سروش و بازرگان امضاء کرده اند که متن آن از برچیدن بساط حکومتی که در آن مذهب و دستگاه حکومتی در هم آميخته اند سخنی به میان نیاورده است!؟ این در حالی است که یکی از اساسی ترین مطالبات جنبش آزادیخواهی ایران در یکصد سال اخیر و جنبش جاری سبز را \"جدائی دین از دولت\" تشکیل می دهد. براستی کسانی که در بيانيۀ خود به صراحت همۀ مقامات کشوری را \"انتخابی\" و \" نقد پذیر\"، \" پاسخگو\" و\"دوره ای\" می خواهند و \"افزودن سرکوب و ارعاب\" و \"بحران عمیق\" که مسئولیتش را با \"صاحب ولایت مطلقه\" و \"جائر\" می دانند چرا و به چه علتی از بيان صریح خواست حذف اصل ولايت فقيه و مذهب رسمی از قانون اساسی ايران، آنهم در خارج از کشور، خودداری می کنند؟ آیا منظور راقمین بیانیه از \" ولایت مطلقه\" تنها نفی \"ولی جائر\" کنونی است که در صورت حذف آن \"ولی عادل\" دیگری جایگزین آن خواهد شد، و یا بطور کلّی منظور پایان دادن به حکومت \"فقها\" و ایجاد حکومتی سکولار است؟\\nبرای نیروهای طرفدار جدائی دین از دولت و دولت مدرن روشن نیست که راقمین بیانیه پنج نفر، و کلاً اصلاح طلبان که بارها از \"حکومت مردم\" و \"جمهوریت \" سخن گفته اند، خواستار تحقق جمهوریت دولت آینده هستند، یا حامی اسلامیت آن؟ آیا درک از \"جمهوریت\" همان درک خمینی است که می گفت \"میزان رأی مردم است\" اما در عمل ولیّ فقیه همه کارۀ امور مملکت بود و یا این درک بر پایۀ معیارهای دموکراتیک و مدرن استوار است؟ بیانیۀ پنج نفر روشن نمی کند که آیا اتوریتۀ سیاسی و قوانین مملکتی مشروعیت خود در حکومت آینده از مردم و نماینده گان ملت (پارلمان) خواهد گرفت و یا از ولیّ فقیه، قرآن و سنت؟ تناقض در گفتارها و مصاحبه های پراکنده را چگونه باید ترجمه و ارزیابی کرد و اصلاح طلبان در مورد این تناقص ها چگونه\\u200c می اندیشند؟ عدم پرداختن به شکل و محتوای دولت آینده در بیانیه های اخیرمی تواند بدین معنی تلقی شود که دست کم گروهی از اصلاح طلبان جنبۀ سکولاریستی و ضد استبدادی مبارزۀ مردم ایران در یکصد سال اخیر را به فراموشی سپرده و مٌدل برقراری یک حکومت سکولار را قبول نداشته و یا آگاهانه قصد سایه اندازی بر روی آن را دارند. این شبهه و سایه اندازی در مورد سایر مطالبات اساسی جنبش آزادیخواهی نیز در بیانیۀ پنج نفر دیده میشود.\\nبلحاظ تاریخی مقولۀ \"تمامیت ارضی\" با شکل\\u200cگیری دولت\\u200cهای ملی و مدرن همراه بوده است و مفهوم آن چیزی نیست مگر مرزهای سیاسی و به رسمیت شناخته شدۀ کشور مفروض. لیکن از آن جا که مرزهای سیاسی همواره تابع تحولات سیاسی بوده لذا این مقوله عامل کشمکشهای نظامی، جنگهای داخلی و نزاع های بین\\u200cالمللی نیز بوده است. ریشه و نطفه های ایجاد دولت متمرکز و مدرن در ایران به عصر ترکان صفویان برمیگردد که با تسلط مذهب شیعه و تأمین \"وحدت سیاسی\" دارای مرزهای سیاسی نسبتاً پایدار نیز شد. اما توسعۀ دولت و رشد نهادهای گوناگون آن در ایران همگام با تحولات و پیشرفتهای اقتصادی، سیاسی و فلسفی اروپا نبوده و بنابراین، فقدان زمینه های مادی از موانع برقراری آن نیز باید بحساب آید. ایدۀ ایجاد دولت مدرن به سبک اروپائی در ایران یکی از اهداف دیرین روشنفکران انقلاب مشروطه (خصوصاً آذربایجانیها) بود که تحقق آن در ایران ( به جز در سالهای 1325- 1324یعنی در دوران حکومت ملی آذربایجان) هرگز به واقعیت نه پیوسته و هرکوششی در این جهت نیز با مقاومت ارتجاع داخلی و دخالت قدرتهای خارجی به شکست کشیده شد. اما بر خلاف ایدۀ دولت مدرن و پیوند آن با افکار روشنفکران بومی، برقراری دولت متمرکز و ضد دموکراتیک در ایران پیوند ناگسستنی با منافع دولت انگلیس (در تقابل با پیروزی انقلاب بلشویکی روسیه و برپائی جمهوری نوپای ترکیه) در پروسۀ بعد از پایان جنگ جهانی اول دارد. کودتای 1299 و روی کار آورده شدن رضا خان توسط انگلیس و هم چنین تلاشهای چندین دهۀ کمپانی هند شرقی در منطقه و ایران آغازگر تحولات ضد دموکراتیک و سازمان یافته و برعلیه منافع مردم ایران و ملیتهای آن بود. درک ویژه از\"تمامیت ارضی\" در ایران نیز اساساً مربوط به پروسۀ بعد از برپائی حکومت رضاخان و سیاست برچیدن واحدهای ایالتی قدرت، و امحاء هویت ملی ملیتها از طریق ممنوعیت زبان و فرهنگ آنان بود. این مقوله با رشد بوروکراسی و نهادهای دولتی و تزریق ایدئولوژی برتری \"نژاد آریایی\" و جعل تاریخ و دستکاری در آثار باستانی ایران برای برجسته کردن نقش عنصر فارس توانست خود را در محاسبات سیاسی ایران تثبیت کند.\\nاما بطور تاریخی تلاش در جهت تحقق ایدۀ \" یک ملت ، یک زبان و یک دولت \" و هم چنین درک ویژه از مقولۀ \"تمامیت ارضی ایران\" مختص و منحصر به حکومتها نبوده بلکه بسیاری از روشنفکران تاریخ معاصر ایران نیز در تئوریزه کردن آن قلم زده و قدم برداشته اند. می توان گفت که جامعۀ\\u200c امروز ایران، و به ویژه، روشنفکران آن، در رابطه با مقوله \"تمامیت ارضی ایران\" از یک درک گلوگیر در رنج است و بیشتر روشنفکران نیز هنوز سایۀ سنگین این درک را بر گرده ی خود حمل و از آن رهائی نیافته اند. برای بیشتر ایرانیان دفاع از \"تمامیت ارضی\" بنوعی ضدیت با تجزیه\\u200c طلبی است که یکی از محصولات ترویج ایدۀ \"یک ملت، یک زبان و یک دولت\" و جعلیات تاریخی در مورد پیشینۀ ورود اقوام گوناگون به ایران و دولتها و سلسله های ساختگی آن است. این بینش ایران را نه یک کشور متشکل از فرهنگها، ملیتها و مذاهب گوناگون که به عنوان ارثیۀ پدری و تیول اقلیتی ملی بشمار می آورد که \"حفظ تمامیت ارضی\" آن، پشت قبالۀ ارثیۀ آنان حک شده است. از منظر آنان \"خاک ایران\" متعلق به آنان است و بقیۀ گروه های ملی، فرهنگی و یا مذهبی یا بازماندۀ \"اقوام وحشی\" هستند که به \"ایران\" یورش آوردند و یا توسط اقوام مهاجم ومهاجر فرهنگ و یا زبان اصلی خود را، که همان \"فارسی شیرین\" بوده ، به دست فراموشی سپرده اند، که امروز باید به اصل خود باز گردند. اما اگر پوسته کسب مشروعیت و تاریخ بافی های جعلی را کناری نهیم در می یابیم که نقطه اصلی این تفکر، حرکت آن از خاک و تقدس آن است. اما وقتی تقدس خاک و مقوله \"تمامیت ارضی\" به سرفصل برخورد با اهالی مناطق ملی- جغرافیائی تبدیل شود، می توان گفت که به جای حاکمیت انسان برزمین، این زمین است که برجان انسانها حاکم می شود. بنابراین با استناد به آن تئوری، جان میلیون ها انسان را برای حفظ \"خاک\" و \"تمامیت ارضی\" و برخلاف میل صاحبان اصلی و اهالی آن می توان فدا کرد. درست همین تفکر منشاء تمام پاکسازی های قومی و اعمال شنیع برعلیه بشریت در گوشه و کنار جهان بوده است. این درک نه تنها هیچگونه پیوندی با مفهوم دولت مدرن، حقوق بشر، جامعه مدنی و حق تعیین سرنوشت و یا عنصر عدالت ندارد، بلکه نشان از یک خوی حیوانی و بربریت دارد که سلو بودان میلوسوویچ ها، رابرت کوچاریان ها و سرکسیان ها نمونه های متمدن آن هستند.\\nبنابراین آنچه تاکنون \"تمامیت ارضی ایران\" را در عمل به مخاطره انداخته و انسانها و گروهای ملی را به درجۀ یک و دو تبدیل کرده، و وحدت درونی کشور را زیر سئوال برده، ادامۀ همین درک و از هم پاشیده شدن پلورالیسم ملی و فرهنگی بوده است\\nبا ترسیم این دریاچۀ افکار و گنداب انبار شده در آن، بیانیۀ پنج نفر از روشنفکران اصلاح طلب مذهبی نیز باید در این چهارچوب و با آن پشتوانۀ تاریخی تحلیل و یا به داوری کشیده شود. چرا که این روشنفکران محصول و پروردۀ تفکر دو نظام سلطنت پهلوی و جمهوری اسلامی با تفاوتهای صوری و شباهتهای ماهوی و همگون به یکدیگر هستند. بدین دلیل نیز بی جهت نیست که اولین پیام بیانیۀ پنج نفر با مدافعه از مقولۀ \"تمامیت ارضی ایران \" شروع شده و هرچند راقمین بیانیه خود را \" به عنوان بخش کوچکی از جنبش سبز سراسری مردم ایران\" معرفی کرده اند اما این امر مانع از آن نشده که آنها \"جنبش سبز ایران (را نیز) مدافع تمامیت ارضی ایران\" (به شیوۀ افکار خود) قلمداد و خواسته های خود را مطالبات جنبش سبز به حساب آورند. این امر در وحلۀ اول دهن کجی به مبارزات و شرکت میلیونی ملیتهای ایران در جنبش سبز است که درکی سرکوبگرایانه و نژادپرستانه از مقولۀ \" تمامیت ارضی ایران\" نداشته و در وحلۀ دوم نشانگر عدم صداقت و برخورد قیم مآبانه اصلاح طلبان خارج با جنبش اعتراضی سبز است.\\nبنابراین گنجاندن مقولۀ \"حفظ تمامیت ارضی ایران\" در متن بیانیه پنج نفر از اصلاح طلبان را می توان به نحوۀ درک و برداشت این روشنفکران از مفهوم \"تمامیت ارضی ایران\" مرتبط دانست که در اصل تفاوت چندانی با درک رایج و سنتی ایدئولوگهای پهلوی و پان ایرانیستها ندارد. این بینش هرچند از یک طرف ادامۀ منطقی ایدۀ \"یک ملت، یک زبان و یک دولت\" است اما از سوی دیگر ریشه در ظهور اسلام سیاسی در ایران و سند حقوقی آن یعنی قانون اساسی جمهوری اسلامی دارد. هر چند در قانون اساسی جمهوری اسلامی به ترکیب چند \"قومی و مذهبی\" جامعۀ ایران اشاره شده و به نوعی تنوع وتکثر در آن مورد پذیرش قرار گرفته لیکن این مقولات در همان قانون اساسی تنها به مفهوم \"اقلیتهای زبانی و مذهبی\" مدّ نظر بوده و بنابراین به گروهای ملی و اقلیتهای مذهبی ایران هیچگونه حق و نقشی در حاکمیت و اتوریتۀ سیاسی و یا اعمال نفوذ و نظارت بر سیاست آنها را نداده است. در نتیجه هویتهای برسمت شناخته شده در قانون اساسی جمهوری اسلامی صرفاً جنبۀ زبانی و فرهنگی داشته و دارای موضوعیت حقوقی و سیاسی نیست. درست به همین دلیل نیز، درهمان قانون اساسی، مذهب رسمی کشور شیعه و زبان رسمی ایران فارسی اعلام شده است که در واقع دو رکن اساسی حاکمیت سیاسی: \"ناسیونالیسم ایرانی\" یعنی \"قومیت فارس\" و \"مذهب تشیع\" در ایران را تبیین و تأکید میکند.\\nبنابراین درک ویژه از \"تمامیت ارضی ایران \" از یک طرف تنوع و تکثر در جامعۀ ایران را تنها در حوزۀ زبانی و فرهنگی پنداشته و از طرف دیگر ایران را یکپارچه می انگارد و در نتیجه حقوق گروههای ملی و مذهبی را نیز تنها در آن حوزه به رسمیت می شناسد. این نظریه که هیچگونه سنخیتی با ایده و مفهوم دولت مدرن و جامعۀ مدنی ندارد اعضای جامعه را بصورت یک \"واحد کلّ\" قبول داشته و تنوع و تکثر را ثانوی می پندارد در حالی که آن \"واحد کلّ\" خود از اشتراک اجزاء جداگانه بوجود آمده و باید دارای حقوق برابر نیز باشند. از اینجا می توان نتیجه گرفت که بیانیۀ پنج نفر، حقوق گروهای ملی را بطورعمده با حقوق مندرج در قانون اساسی جمهوری اسلامی قابل تعریف و تبیین دانسته و در نتیجه هرگونه برابری آنها در حوزه های خارج از آن حیطه را مخل و مانع \"وحدت و یکپارچگی\" و\"حفظ تمامیت ارضی ایران\" تلقی می کند. بدین جهت نیز در حالیکه متن بیانیه از \" آزرده\" شدن \" گروه های قومی\"در نتیجۀ \"عملکرد این رژیم\" سخن گفته اما از گنجاندن حقوق و مطالبات آنان با تعاریف مدرن حقوق بشری و دموکراتیک، که بیانیۀ فوق ادعای پیاده کردن و دفاع از آن را دارد، در بندهای دهگانه و یا متن آن امتناع کرده است.\\nکوتاه سخن اینکه مقوله\\u200c \"حفظ تمامیت ارضی\" در عین حال که نیاز به بررسی و بازنگری جدّی و تاریخی دارد نیازمند تعریفی جدید و ارائۀ راه حلهای نوین برای جلوگیری از سوء استفاده و تکرار فجایع رخ داده در دوران پهلوی (پدر و پسر) وجمهوری اسلامی را دارد! چراکه که در تاریخ معاصر ایران سرکوب وحشیانۀ جنبش های آزادیخواهانۀ ملل غیر فارس همواره\\u200c با مستمسک \"حفظ تمامیت ارضی\"، \"تجزیه\\u200c طلبی\" و \"توطئۀ بیگانگان\" صورت پذیرفته است یعنی همان بهانه هایی که امروز جمهوری اسلامی بخشی از آنرا به جنبش سبز ایران نسبت داده و یا رژیم شاه در 29 بهمن 1357 به قیام مردم تبریز نسبت داد. بنابراین چهارچوب افکار و تفکر پنج نفر اصلاح طلبان مذهبی و درک آنان از مقولۀ \"حفظ تمامیت ارضی\" و حقوق ومطالبات ملل غیر فارس ایران درعمل در حیطۀ همان بینش رایج \"تجزیه طلبی\" و \"توطئۀ دشمن\" است که خود آنان در بیانیۀ منتشره از آن به عنوان سوء استفادۀ \" ولیّ جائر در طول 20 سال گذشته ... و از طریق آن دشمن سازی و ایجاد تفرقه میان ملت \" یاد کرده اند. اگرامضاء کننده های بیانیۀ پنج نفر درکی به غیر از نتیجه گیری یاد شده را دارند در آنصورت باید پاسخ دهند که درک آنان از \" تمامیت ارضی ایران\" چگونه و تفاوت آن با درک سلطنت طلبان و پان ایرانیست ها و گروهای نژاد پرست درچیست؟\\nدر ادامۀ همین بحث باید به مورد دیگری نیز اشاره کرد که بی ارتباط با مقولۀ ذکر شده بالا نیست. با اینکه بیانیۀ پنچ نفر به حق \" تعیین سرنوشت مردم ایران\" و \" اقشار متنوع جامعه در تعیین سرنوشت خود\" اشاره داشته است اما روشن نیست که منظور آنان از این \"حق\" چیست و اگر قرار است این \"حق\" شامل \"مردم ایران\" و \"اقشار متنوع جامعه\" شود چرا شامل ملیتهای ایران نمی شود؟ واقعیت این است که درک روشنفکران اصلاح طلب مذهبی از مقولۀ \"حق تعیین سرنوشت\" نیز بی شباهت به درک آنان از\"تمامیت ارضی ایران\"، دموکراسی، جامعۀ مدنی و دولت مدرن نیست.\\nاز آنجا که مبنا و اساس ایدۀ حق تعیین سرنوشت بر نظریۀ حق حاکمیت مردم بنا شده و حق حاکمیت مردم نیز بنوبۀ خود مشروط به حق تعیین سرنوشت آنان بصورت آزادانه است، بنابراین می توان گفت که حق حاکمیت و حق تعیین سرنوشت وابستگی متقابل به یکدیگر دارند. جوهر اصلی و دموکراتيک ایدۀ حق تعيين سرنوشت بصورت تاریخی تشکيل دولت توسط ملت بوده چرا که با انتقال حق حاکميت به مردم افراد نيز از رعیت و یا تبعۀ پادشاهان خارج و به شهروندان آزاد ملی تبدیل شده اند. از اینجا می توان نتیجه گرفت که مقوله هایی چون حق حاکمیت و حق تعيين سرنوشت و یا حق شهروندی همگی جزئی از حقوق دموکراتيکی هستند که در چهارچوب و درون مفهوم دمکراسی جای گرفته است. می توان گفت که حق شهروندی (حقوق فردی) و حق تعيين سرنوشت (حقوق جمعی) حقوقی هستند که ریشۀ و منشاء آن در حکومت مردم بر مردم نهفته است. ایدۀ حق تعيين سرنوشت ملی ضامن و تجلی ارزش های هويت جمعی يک ملت است اما از آنجا که خود ملت متشکل از افراد است، در نتیجه این حق بيانگر حق انتخاب فردی يک شهروند و همچنین نوع حکومتی که شهروندان آنرا می طلبند نیز شود. بنابراین مبارزه برای هر دو حق بمعنای مبارزه برای دموکراسی و حق حاکمیت مردم نیز هست.\\nروشنفکران مذهبی هرچند ادعای دفاع از اصول دموکراسی، حق تعیین سرنوشت، حقوق مدنی و شهروندی مردم ایران را دارند اما درکی را که از این مقوله ها در بیانیۀ خود ارائه می دهند با درک قید شده در سطور بالا تفاوتهای ماهوی دارد. پنج نفر اصلاح طلبان مذهبی، از آنجا که مردم ایران را یکپارچه و به عنوان \"ملت واحد\" درک میکنند بنابراین هرگونه \"تعیین سرنوشت\" آنها را نیزتنها در چهارچوب همین مقولۀ \"وحدانیت\" می فهمند. برای آنان حق و حقوقی که خارج از این یکپارچگی مصنوعی و اجباری قرار داشته باشد قابل تصور نیست. اما جامعۀ ایران تودۀ یکپارچه ای را تشکیل نداده و با مرزهای مذهبی، ملی ـ نژادی و یا جنسی و طبقاتی از یکدیگر جدا می شوند. بنابراین همانگونه که حق تعیین سرنوشت شامل تک تک عناصر تشکیل دهندۀ این گروهها و به عنوان فرد می شود شامل حق تعیین سرنوشت آنان به عنوان جمع نیز میشود. مثلاً زنان به عنوان یک گروه اجتماعی، و صرف نظر از تعلقات ملی، زبانی، مذهبی و طبقاتی، حق دارند به عنوان زن (و بر پایۀ هویت جنسی خود) متشکل شده و برای تحقق مطالبات فردی و \"تعیین سرنوشت\" خود، یعنی حاکم شدن بر بدن خود، نوع پوشش خود و رفع خشونت از خود، و یا لغو قوانین ضد زن مبارزه کنند. اما زنان درعین حال حق دارند به عنوان زنانی که دارای تعلقات ملی هستند، یعنی بر پایۀ هویت ملی خود (بلوچ، عرب، آذربایجانی و...) نیز متشکل شده و برای مطالبات ملی مبارزه و خواستار حق تعیین سرنوشت شوند. بنابراین همانگونه که اعضای گروههای اجتماعی به عنوان فرد دارای هویت مختص به خود و حق تعیین سرنوشت هستند به عنوان جمع نیز داری هویت و حق تعیین سرنوشت میباشند. درک دموکراتیک و مدرن نیز هم حق تعیین سرنوشت فردی و هم حق تعیین سرنوشت جمعی را برسمیت می شناسد. موردی که باید بدان توجه داشت این است که مبارزۀ ملی صرفاً جنبۀ سیاسی دارد و موضوع آن معطوف به حاکمیت و تقسیم قدرت سیاسی است. در واقع هدف مبارزۀ ملی دموکراتیزه کردن حاکمیت از طریق تقسیم قدرت سیاسی و شرکت دادن همۀ گروهای ملی در آن است.\\nاما دیده می شود که مرزهای دموکراسی برای روشنفکران مذهبی درست درهمین نقطه پایان می یابد بطوریکه از نظر آنان هر گروه و یا فردی که \"یکپارچگی\" و نظریۀ \"ملت واحد\" را زیر سئوال برده و یا برهویت جداگانۀ خود، به غیر از هویت رسمی و اجباری، تأکید داشته باشد خود به خود از هرگونه حق تعیین سرنوشت و حقوق سیاسی نیزمحروم میشود. چنین درکی نه با ایدۀ حق تعیین سرنوشت و دموکراسی قرابتی دارد و نه شباهتی به مفهوم جامعۀ مدنی که روشنفکران اصلاح طلب در صدد پی ریزی آنان با بیانیۀ دهگانۀ خود هستند. از منظر روشنفکران مذهبی مرز\"حق تعیین سرنوشت\" و \"دموکراسی\" و مفهوم \"جامعۀ مدنی\" تا بدآنجاست که ارکان اساسی حاکمیت در ایران یعنی نقش زبان فارسی و مذهب شیعه (حاکمیت قوم فارس) نقض نشده و به رسمیت شناخته شود و اگر کسی مرتکب چنین گناهی شود آنگاه سرو کارش با وزارت اطلاعات و امنیت کشور، لباس شخصیها، و سپاه پاسداران بوده و با انگ \"تجزیه طلبی\" و صد البته برای\"حفظ تمامیت ارضی\" و مبارزه با \"توطئۀ بیگانه\" پروسۀ حذف، همچون تاریخ نزدیک به یک قرن اخیر، به چرخش درخواهد آمد. بیانیۀ پنج نفر در حالی که حق جمعی و\" حق فعالیت قانونی احزاب سیاسی، جنبش دانشجوئی و زنان، و نهاد های غیر دولتی ، نهادهای مدنی، اتحادیه های مستقل کارگران و کارمندان\" را \"به رسمیت\" می شناسد، و در مادۀ چهار بیانیۀ خود نیز از تک تک آنان اسم میبرد، اما بر مبنای درک ذکر شدۀ بالا از قبول و تعمیم این حق به گروهای ملی ایران و ذکر ملیتها و یا بقول آنان \"اقوام\" در همان بند خوداری میکند!؟\\nبیانیۀ پنج نفر از تقابل \" جنبش با اقتدارگرایان\" به عنوان \" نزاع بر سر رعایت حقوق بشر و گردن نهادن به خواست های دموکراتیک مردم، تحقق جامعه مدنی، مدارا دینی، به رسمیت شناختن تکثر و تنوع در فضای سیاسی کشور و بالاخره نفی ولایت جائر \" سخن میگوید. اما در عین حال از برچیدن بساط و حذف سیستم ولایت فقیه (یعنی همان ولایت جائر)، از جدائی دین از دولت و سکولاریسم (مدارا دینی ؟)، از حقوق و برابری ملیتها و حق تعیین سرنوشت آنها (به رسمیت شناختن تکثر و تنوع فقط در \"فضای سیاسی کشور\") و از برابری حقوق زنان با مردان خوداری میکند!؟ در تعریف روشنفکران اصلاح طلب نه تنها جائی برای حق تعیین سرنوشت وعنصرعدالت، که از مختصات دولت مدرن و دموکراتیک بوده و محتوای آن بر پایۀ برابری همۀ گروههای انسانی صرف نظر از ملیت، فرهنگ، مذهب، جنسییت و یا رنگ پوست درمقابل یکدیگر و در برابر قانون استوارشده، خبری نیست بلکه حتی از قانون اساسی جمهوری اسلامی نیز که حداقل در آن از حقوق ناقص زبانی و فرهنگی \"اقوام \" ( اصل 15 و 19) سخن به میان آمده گامی عقبتر است.\\nگذشته از اینها پرسیدنی است که اگر بیانیۀ\\u200c پنج نفر برای حمایت و یا تکمیل بیانیۀ\\u200c آقای موسوی و یا در همراهی با دیگر اصلاح طلبان (همچون آقای کروبی) ارائه شده است، که در متن بیانه نیز بصورت \" ما ضمن حمایت کامل از مواضع رهبران جنبش در داخل کشور (موسوی، کروبی و خاتمی)\" آمده است، در آنصورت\\u200c آیا حتی در آن سطح نیز نمی بایستی در بیانیه ماده\\u200cای به\\u200c حقوق گروههای ملی (و یا بقول آنان \"حقوق اقوام\") و جایگاه آنها در مناسبات خود با حاکمیت تخصیص داده\\u200c می شد؟ در حالی که هم خاتمی و هم میر حسین موسوی در بیانیه های خود، و هم بیشتر و شفاف تر از آنها، آقای کروبی، بارها به حقوق \"اقوام\" تأکید داشته و حتی آنرا به یکی از شعارهای انتخاباتی خود تبدیل کرده بود. پس چگونه بیانیۀ پنچ نفر که در تکمیل بیانیه های اصلاح طلبان داخل کشور به تحریر در آمده از پرداختن به این معضل اساسی پرهیز، و حتی از رعایت پیوند منطقی افکار و مطالبات خود با تفکر و خواستهای اصلاح طلبان داخل کشور دوری جسته است؟\\nشاید گفته شود که تأمین و تحقق حقوق مدنی و شهروندی که در بندهای دهگانۀ بیانیه پنج نفر بدان پرداخته شده به خودی خود شامل حقوق ملیتها و پیروان مذاهب گوناگون ایران نیز شده و دیگر نیازی به پرداختن بصورت جداگانه به آنها در بیانیه نبوده است. ولی باید توجه داشت که هرچند در کشوریکه متشکل از موزائیک مذاهب، فرهنگها، و ملل گوناگون است تمرکز بر رعایت حقوق مدنی و شهروندی لزوماً آنرا به یک مقولۀ انسانی و فرا ملی تبدیل می کند چرا که برابری شهروندان در برابر قانون و رعایت بدون قید و شرط آزادیهای فردی و سیاسی نمی تواند بی ارتباط با کل جامعۀ ایران و محدود و یا متعلق به تنها بخشی از اعضای آن جامعه باشد، لیکن افراد و اعضای تشکیل دهندۀ یک کشور عناصر جدا از هم و یا ایزوله شده از یکدیگر و معلق در فضا نبوده بلکه در شکل گروهای ملی، جنسی، مذهبی و یا طبقاتی معنی و مفهوم پیدا میکنند. لذا هر گونه مبارزه برای حقوق مدنی و شهروندی (دموکراسی) خود به خود باید شامل حقوق آن گروهها، طیفها و یا قشرهائی در جامعه شود که این حقوق از آنان سلب و به آنان تعمیم داده نشده و یا در مورد آنان اجرا نشده است. بنابراین هرگونه راه حل پیشنهادی مبتنی بر چیره گی بر این موانع و معضلات نیز، باید این گروهها و اقشار را مخاطب قرار داده و مطالبات آنان را انعکاس دهد.\\nاین امر شامل وضعیت ویژۀ زنان و حقوق آنان در ایران به عنوان یک گروه اجتماعی و جنسی نیز می شود و معلوم نیست که چرا ایده ئولوگها و روشنفکران اصلاح طلب در مصاحبه ها و بیانیه های خارج از کشور خود، حداقل بصورت یک اشارۀ کوتاه نیز، ازاعتراف به \"برابری حقوق زنان با مردان\" اکراه داشته و امنتناع می کنند؟ آیا مثلاً می توان خود را هوادار حقوق مدنی و شهروندی (دموکراسی خواه) دانست ولی در مبارزه برای کسب حقوق زنان بعنوان نیمی از جامعه و یا حقوق ملیتها به عنوان اکثریت جامعۀ ایران تلاش نکرد و یا مطالبات آنان را انعکاس نداده و بی اعتنا از آن گذشت؟ آیا زنان و گروه های ملی ایران جزئی از همان مبارزه کننده هایی نیستند که برای حقوق مدنی و حق شهروندی، رفع دیکتاتوری و چیره گی دموکراسی در جامعه مبارزه می کنند؟ و آیا قرار نیست این حقوق چه بعنوان فرد و چه بعنوان جمع شامل آنان نیز بشود؟ در حالیکه بیانیۀ پنج نفر از \" به رسمیت شناختن حق فعالیت قانونی زنان\" (مادۀ 4) و مبارزات مردم ایران برعلیه حکومت و \" تحقیر و توهین مستمربه ملت توسط حکومت\" سخن می گوید اما برابری حقوق طبیعی زنان با مردان و لغو قوانین تبعیض و تحقیر آمیز نسبت به زنان را مسکوت می گذارد!؟ پرسیدنی است این چگونه برنامۀ حداقلی است که مطالبات یکی از فعالترین گروههای معترض جامعۀ ایران و جنبش سبز مبنی بر برچیدن قوانین قرون وسطائی بر علیه زنان در آن منعکس نیست؟ این چگونه مطالبات حداقلی است که فقط به حق تشکل و فعالیت قانونی زنان بسنده کرده یعنی همان حقی که هم اکنون نیز کم و بیش در جمهوری اسلامی آثاری از آن تحمل میشود؟ پرسیدنی است که درک این روشنفکران از آزادی زنان و حقوق برابر آنان با مردان چگونه و تفاوت آن با درک \"اقتدارگریان حکومتی\" و اصول گرایان درچیست و اصولاً آیا این درک مبتنی بر دگمهای مذهبی و کتاب آسمانی است یا معیارهای مدرن و دموکراتیک؟\\nحذف و مثله کردن پرنسیپهای دموکراسی و یا قائل شدن تقدم و تأخر درتحقق اجزاء آن درایران متأسفانه نه تنها بینش روشنفکران و ایدئولوگهای اصلاح طلبان که درک بسیاری از دستجات سیاسی است. اگر تحقق دموکراسی نمی تواند در یک کشور چند ملیتی چیزی جز حاکمیت همۀ ملیتهای تشکیل دهندۀ آن کشور و حقوق برابر آنان باشد تحقق حقوق زنان و برابری آنان با مردان (حداقل درقانون) نیز نمی تواند جزء تفکیک ناپذیر پرنسیپهای دموکراسی خواهی نباشد! کسی که برای حقوق مدنی، شهروندی و حاکمیت مردم (دموکراسی) می جنگد باید برای برپائی یک دولت سکولار (جدائی دین از دولت)، رفع ستم ملی و مضاعف (برابری حقوق ملیتها) و برچیدن بساط ستم بر زنان (برابری آنان با مردان) و عدالت اجتماعی نیز بجنگد.',\n",
              " 'تستر هدایت باتری ساخته شده در چین - تولید کننده تستر هدایت الکتریکی باتری - Huazheng تولید الکتریکی (Baoding) شرکت با مسئولیت محدود\\nHuazheng Electric Manufacturing (Baoding) شرکت با مسئولیت محدود یکی از پیشرو در باتری تستر رسانا تولید کنندگان چین است، خوش آمدید برای واردات تستر هدایت باتری ارزان و تخفیف از ما.',\n",
              " 'من هیچ\\u200cوقت گریه نمی\\u200cکنم، چون اگر اشک می\\u200cریختم، آذربایجان شکست می\\u200cخورد و اگر آذربایجان شکست می\\u200cخورد ایران، زمین می\\u200cخورد... اما در جریان مشروطه دو بار آن هم در یک روز اشک ریختم.\\nحدود 9 ماه بود تحت فشار بودیم، بدون غذا، بدون لباس. از قرارگاه آمدم بیرون... چشمم به زنی افتاد با بچه\\u200cای در بغلش... دیدم که بچه از بغل مادرش پایین آمد. چهار دست و پا رفت به طرف بوته علف. علف را از ریشه درآورد و از شدت گرسنگی شروع کرد خاک ریشه\\u200cها را خوردن... با خود گفتم الآن مادر آن بچه به من فحش می\\u200cدهد و می\\u200cگوید: لعنت به ستارخان که ما را به این روز انداخته است.',\n",
              " 'درباره تبریز 2018 دانلود فایل های مرتبط نامه حمایت دانشگاه ها فیلم های مرتبط گالری تصاویر مزیت های شرکت و خدمات تاریخچه و افتخارات اخبار و اطلاعیه ها\\nکنگره سالانه بین المللی توسعه کشاورزی، منابع طبیعی، محیط زیست و گردشگری ایران به عنوان بزرگترین ، معتبرترین و منظم ترین گردهمایی سالانه علمی ، پژوهشی و اجرایی حوزه کشاورزی، منابع طبیعی، محیط زیست و گردشگری خاورمیانه در کشور ایران بوده و در نظر دارد با معرفي توان علمي و كاربردي براي ارتقاء سطح كيفي کشاورزی، محیط زیست و گردشگری و همچنين بررسي نيازمندي و ضروت هاي آموزش موارد فوق گام برداشته و با بهره گیری از تجارب و دستاوردها و گردهم آوری اساتید و صاحب نظران و مدیران، زمینه ساز توسعه پایدار کشور ایران بوده و نقشه جامع راه .....',\n",
              " 'دردی بود در دل . ذکری بود بر لب . افقی بود بر پهنای هستی از دیدگاه یک انسان می خواهد بگوید تا بدانید تا خود نیز بداند که نمی داند.\\nطب در تمام ادوار تاریخ زندگى بشر، با او همراه بوده است. همچنان که درد و رنج جزئى از زندگى بشر است، پس او همواره به دنبال راه علاج گشته و مى گردد. در ایران، یونان، روم، آشور، کلده، مصر و تمامى جهان متمدن قدیم مردم از طب اطلاعاتى داشتند و کسانى که طبابت مى کردند، گاهى به صورت موبدان خدمت مى کردند و این بقراط حکیم بود که توانست طب را از این شکل خرافاتى و معبدى بیرون آورد. او ثابت کرد که مرگ و زندگى بر طبق قوانین منظم جهان رخ مى دهد و به علاوه مسائل اجتماعى و وجدانى خاصى نیز براى طبیب معین نموده است که گواه آن «سوگند نامه بقراط» است. ....\\nتحقیق نشان داد موسیقی نقش مهمی در کاهش وزن می تواند داشته باشد.به نوشته الحیات، جنگ جهانی علیه چاقی روز به روز گسترده تر می شود و محققان هر روز به فکر راه های مختلف برای مبارزه با این آفت قرن بیست و یکم هستند. محققان با بررسی بیش از 41 زن چاق دریافتند اگر آنها به همراه موسیقی و رژیم غذایی بهداشتی، به طور مرتب ورزش کنند، طی مدت کوتاهی به نتایج خوبی دست خواهند یافت. پزشکان گفتند: پیاده روی نیم ساعته در روز و حداقل سه بار در هفته و گوش دادن به موسیقی در هنگام ورزش بسیار به مبارزه با چاقی کمک می کنبیمارن قندی و ابتلا به التهاب ریوید.\\nدر یونان قدیم ارتباط نزدیکی بین موسیقی و شفا وجود داشت. این همبستگی به یکی از خدایان یونان «آپولو» شخصیت و شکل داده است. آپولو هم خدای موسیقی و هم خدای طب بود.یونانیان معتقد بودند که امراض نتیجه عدم هارمونی در وجود فرد است و موسیقی با قدرت روحی و اخلاقی خود می تواند با برگرداندن هارمونی و نظم در بدن سلامتی را برای فرد مورد استفاده به ارمغان آورد.پژوهش های انجام شده، نشان می دهد که غده تالاموس به عنوان مهمترین غده در مغز انسان محرک های صوتی را به وسیله سیستم های عصبی دریافت و در کنار حافظه و تخیل به آنها پاسخ می دهد.غده هیپوفیز نیز که از غده تالاموس فرمان دریافت می کند به محرک های صوتی موزون پاسخ می دهد، موجب بروز ترشحاتی می شود که نتیجه آن آزادسازی ماده آرام بخش به نام آندروفین خواهد بود.\\nبا توجه اینکه مهمترین اثر ماده مزبور، تسکین درد در انسان است به سادگی می توان به ارزش موسیقی درمانی که عملاً موجبات آزادسازی ماده آندروفین که علاوه بر تسکین درد، موجبات انبساط و شادی را در انسان فراهم می سازد، پی برد.\\nتحقیقاتی که توسط کولن در سال ???? در بخش مراقبت های ویژه بیمارستان «سنت جرج» لندن صورت گرفته، نشان می دهد که موسیقی به میزان قابل توجهی در تسکین و تقلیل وضعیت بحرانی بیماران که در بخش آی ـ سی ـ یو بستری بود ه اند تأثیر داشته است.زیرا ثابت شده است که سیستم اعصاب انسان به محرک های موزیکال پاسخ مثبت می دهد. موسیقی درمانی یک فرآیند فعال است. در موسیقی درمانی، ما انتظار داریم که موسیقی ما را در برگرفته و در تمام وجودمان جریان پیدا کند.\\nیادتان باشد که از قوه تخیل مغز استفاده کنید. به خاطر داشته باشید: «انرژی در پی اندیشه می آید» هر جا که فکر باشد انرژی هم وجود دارد. برای بهتر گوش کردن به موسیقی دو مطلب را به خاطر بسپارید: ?- صدای موسیقی در حدی باشد که شما با آن راحت هستید. ?- خودتان را تسلیم موسیقی کنید.\\nبا حرکات ریتمیک موزیکال می توان مهارت در هماهنگی های حرکتی را بهبود بخشید، اشعار آوازهای مخصوص را می توان نوشت که از طریق آن مراحل و روش های مهارت های خودیاری مثل لباس پوشیدن و مسواک زدن را یاد بگیرند و به خاطر بسپارند. موزیک تراپیست ها، برای اینکه برنامه های درمانی و روش های مؤثر برای در حال جریان ایجاد کنند، باید برنامه ریزی دقیقی را به کار گیرند.\\nمشاهدات و تجربیات اخیر نشان داده است که کاربرد موسیقی در درمان ناتوانی های یادگیری اشخاصی که آسیب های شنوایی دارند، اشخاصی که آسیب های بینایی یا آسیب های گفتاری دارند، مورد استفاده قرار می گیرد.\\nافرادی که در ارتباط کلامی مشکل دارند با خواندن آوازها و سرودهای مخصوص می توانند در شمرده تلفظ کردن اصوات، گفتار مورد نیاز و مهارت در تشخیص لغات رشد و تمرین کنند. ریتم و صدای موسیقی همچنین می تواند تقویت جریان تکلم را در اختلالات گفتاری مانند لکنت زبان آسان سازد. از موسیقی برای اشخاص زبان پریش (آفازیک) به عنوان روش برای برقراری رابطه کلامی می توان استفاده کرد.\\n(Melodic intonation Therepy ( M.I.T در اوایل دهه هفتاد میلادی به عنوان یک روش ترمیمی برای بخشی از مسائل گفتاری بزرگسالان زبان پریش به وجود آمده است. در این روش جملات کوتاه در نمونه های ساده آهنگین، با آواز خوانده می شود. به موازاتی که بیماران عبارات و جملات را یاد می گیرند، آهنگ ها کمرنگ تر و محو می شوند، این روش بر پایه این نظریه قرار گرفته که وقتی نیم کره سمت چپ، آسیب می بیند می توان به وسیله اغراق در آواز (ریتم، با تأکید بیان کردن و جملات ملودیک) با کمک نیم کره راست مغز، تکلم را کمک، تحریک و تسهیل کرد.\\nفعالیت های مختلف موسیقی درمانی می تواند جهت بهبود وضعیت مفاصل و ماهیچه ها و افزایش هماهنگی حرکات آنها کمک کرد. مثلاً نواختن سازهای انتخاب شده با شیوه های مخصوص می تواند تحرک و استقامت مفاصل را افزایش دهد و با هماهنگی قسمت هایی از بدن را بهبود بخشد.\\nمثلاً نواختن پیانو برای حرکت و خم کردن و کشش انگشت ها و از ریتم سازها برای افزایش دامنه حرکات و منبعی برای الگوهای حرکتی.از نواختن ساز دهنی برای کنترل بهتر دست ها و هماهنگی آن با دهان و تقویت ظرفیت های حیاتی می توان استفاده کرد. یکی دیگر از منافع یادگیری نواختن ساز برای معلولین، احساس کامیابی و رضایت است. نواختن ساز، احساس ارزش شخصی را افزایش می دهد و اگر به صورت گروهی نواخته شود، رشد اجتماعی شان تقویت خواهد شد.\\nسالمندی معمولاً با درجاتی از زوال کارکرد جسمی و ذهنی همراه است. که این درجات در افراد مختلف متفاوت است. بیشتر افراد مسن خصوصاً آنهایی که در خانه های سالمندان زندگی می کنند، علائمی از اختلالات فکری و بدنی دارند.\\nبسیاری از سالمندان مشکل پزشکی مانند بیماری های قلبی، دیابت، سرطان و یا فشارخون دارند. به علاوه عده ای نیز به دلایل عاطفی دچار افسردگی و تنهایی می شوند.\\nموسیقی درمانی می تواند در زمینه تقویت کارکرد جسمی و روحی این افراد مؤثر واقع شود. به عنوان مثال موسیقی همراه با تمرینات و ورزش های روزانه، می توان احساس دردی را که غالباً توأم با این ورزش هاست از ذهن دور ساخته و یا انگیزه و محرک لازم را برای شرکت در انجام این قبیل ورزش ها و فعالیت های حرکتی فراهم کرد.\\nدست زدن نشاط انگیز و موسیقی ریتمیک می تواند ورم مفاصل انگشتان را صاف کند، اعتماد به نفس او را افزایش داده و انرژی مثبت را در اینگونه افراد تقویت کند. مهم است به خاطر بسپاریم که موسیقی مورد علاقه سالمندان مانند دیگر اقشار مردم دامنه وسیعی دارد. علاقه آنها متناسب با سنشان تغییر می کند. معمولاً افراد مسن به آهنگ های معروفی که در دوران جوانی حوالی سنین ?? تا ?? سالگی گوش می دادند، علاقه نشان می دهند.\\nمحققان آلمانی می گویند یک اختلال ژنتیکی عامل برخی سکته ها ی مغزی در افراد جوان است. به گزارش BBC ، دانشمندان در روستوک دریافتند 4 درصد از 700 بیمار 18 تا 55 ساله ای که دچار سکته مغزی شده بودند ، از بیماری فابری نیز رنج می بردند. و سکته مغزی یک دهه زودتر در این بیماران رخ داده بود.\\nمتخصصان می گویند یافته های فوق مربوط به گروه کوچکی از افراد است اما وجود یک عامل قابل درمان برای سکته مغزی را روشن می سازد.\\nبیماری فابری بوسیله فقدان یا نقص یک آنزیم مورد نیاز برای پردازش روغن ها ، مواد مومی و اسیدهای چرب ، ایجاد می شود. این لیپید ها تا سطوح زیان آور در چشم ، کلیه ها ، سیستمعصبی و سیستم قلبی عروقی تجمع می یابند.\\nاما می توان از طریق درمان جایگزین با آنزیم پیشرفت بیماری را کند کرد. افراد مورد مطالعه در این تحقیق دچار سکته مغزی شده بودند در حالیکه ریسک فاکتورهای این بیماری را نداشتند. مشخص شد تقریبا 5 درصد بیماران مردو دو درصد زنان حامل ژن مربوط به بیماری فابری بودند.\\nبه گفته محققان این یعنی یک نفر از هر صد جوانی که دچار سکته مغزی می شوند ممکن است مبتلا به فابری باشند. در این بررسی سن متوسط مردان مبتلا به فابری برای ابتلا به سکته مغزی 38 و در زنان 40 سال بود.\\nبنابراین بیماری فابری را می توان بعنوان یکی از علل مهم سکته مغزی کریپتوژنیک در جوانان در نظر گرفت. لذا انجام تست های تشخیصی این بیماری در افراد بیمار حائز اهمیت است.\\nحملات گذرای کم رسیدن خون به مغز (TIA) سکته ناقصی است که اغلب پیش از سکته کامل رخ می دهد.گرچه قبل از بسیاری از سکته های مغزی، TIA رخ نمی دهد،اما باید علائم هشدار دهنده آن را شناخت.\\nاین کار به شما و دکترتان کمک نمی کند که تا از یک سکته مغزی کامل که ممکن است باعث آسیب مغزی دائم و شدید مغز شود جلوگیری کنید.\\nعلائم TIA مشابه علائم سکته مغزی کامل است، اما معمولا تنها برای مدتی کوتاهی رخ می دهد. این علائم هشداردهنده می تواند شامل سیاهی رفتن چشم، فقدان هماهنگی عضلات یا تعادل، بیحسی یا ضعف در یک طرف بدن باشد.\\nوزیر بهداشت گفت: کاملاً واضح است که روغن\\u200cهای نباتی جامد اقلاً عامل 40 درصد سکته\\u200cهاست بنابراین مصرف این روغن\\u200cها باید با روغن\\u200cهای مایع بدون ترانس جایگزین شود.\\nکامران باقری لنکرانی در گفت\\u200cو\\u200cگو با خبرنگار اجتماعی فارس افزود: تا چند سال پیش روغن\\u200cهای نباتی جامد حدود 80 درصد روغن مصرفی مردم را تشکیل می\\u200cداد ولی طی سال\\u200cهای اخیر با آموزش و اطلاع\\u200cرسانی، مردم به زیان\\u200cهای مصرف این روغن\\u200cها پی برده\\u200cاند و الآن مصرف این روغن\\u200cها به حدود 65 درصد رسیده است.\\nوی ادامه داد: باید کارخانه\\u200cهای تولید تولید روغن در کشور به سمت تولید روغن\\u200cهای با ترانس پائین و بدون روغن\\u200cهای نامطلوب حرکت کنند در زمان حاضر تولید روغن با ترانس کم\\u200cتر از 5 درصد نیز در کشور به بهره\\u200cبرداری رسیده است و این نوید تولید بیش\\u200cتر روغن\\u200cهای مطلوب در کشور است.\\nوی گفت: در زمان حاضر روغن\\u200cهای با ترانس 20 تا 30 درصد نیز از وزارت بهداشت مجوز می\\u200cگیرند اما درصددیم که این استاندارد را امسال حداقل به 10 درصد برسانیم.\\nباقری لنکرانی افزود: امیدواریم صاحبان صنایع روغن نیز با درک شرایط خاص مربوط به روغن برای تولید روغن\\u200cهای با اسیدچرب و ترانس پایین کمک کنند و با نوسازی تجهیزات فنی خود برای ارتقای سطح سلامت جامعه همکاری کنند.\\nوی گفت: وزارت بهداشت نیز برای کاهش مرگ و میرهای ناشی از بیماری\\u200cهای قلبی و سکته\\u200cها که حداقل 40 درصد آن به علت مصرف روغن\\u200cهای نباتی جامد است امسال با افزایش تخت\\u200cهای مراقبت\\u200cهای ویژه و تجهیزات CCU و آنژیوگرافی در همه استان\\u200cهای کشور حداقل یک مرکز ویژه مراقبت از بیماری\\u200cهای قلبی دایر می\\u200cکند.\\nتمامی حقوق مادی و معنوی سایت مُهر لب زده برای محمد شکوهی محفوظ می باشد ؛کپی برداری از مطالب ، تنها با ذکر نام و لینک مُهر بر لب زده مجاز می باشد |',\n",
              " 'معاینه فیزیکی، معاینه بیمار به دنبال یافتن علایم بیماری است که در آن نشانه\\u200cها را بیمار بیان می\\u200cکند و علایم توسط پزشک پیدا می\\u200cشوند. پزشک از حواس بینایی، شنوایی، لامسه و گاه بویایی (برای نمونه در عفونت\\u200cها، اورمی، کتواسیدوز دیابتی) استفاده می\\u200cکند. استفاده از حس چشایی با وجود روش\\u200cهای تشخیص مدرن به کار نمی\\u200cرود ولی قدیم در نبود آزمایش قند خون در تشخیص دیابت شیرین به کار می\\u200cرفت. در معاینه چهار عمل به عنوان بخش\\u200cهای اصلی معاینه شناخته می\\u200cشوند: مشاهده، لمس، دَق و سمع. این ترتیب ممکن است بسته به موضع معاینه تغییر کند؛ برای نمونه یک مفصل را با مشاهده، لمس و حرکت معاینه می\\u200cکنند. وجود این ترتیب تنظیم شده یک ابراز آموزشی هم هست که پزشکان را به برخورد سیستماتیک با بیمار و پرهیز از استفاده از ابزارهای پزشکی همچون گوشی پزشکی قبل از استفاده از این روش\\u200cها تشویق می\\u200cشوند. معاینه بالینی شامل بررسی این موارد نیز است: علایم حیاتی، شامل قد، وزن و حرارت، فشار خون، ضربان قلب، میزان تنفس، درجه اشباع اکسیژن. وضعیت ظاهری عمومی بیمار و مشخصه\\u200cهای خاص بیماری (وضعیت تغذیه، وجود زردی، رنگ پریدگی و چماقی شدن ناخن\\u200cها) دست\\u200cها و پوست سر (شامل غدد لنفاوی)، دهان، چشم، گوش، بینی و گلو (شامل تیروئید) تنفس (ریه\\u200cها و مجاری تنفسی بزرگ) پستان وضعیتی حرکتی و دستگاه عضلانی و اسکلتی شکم و رکتوم اعضاء جنسی (در صورت وجود حاملگی) اعصاب (هوشیاری، آگاهی، مغز، بینایی، اعصاب کرانیال، نخاع و اعصاب محیطی روان (گرایش یا اورینتیشن، معاینه وضعیت روانی، شواهدی از درک و افکار غیرطبیعی) معمولاً معاینه بر اساس شرح حال بیماری روی قسمت\\u200cهای خاصی متمرکز می\\u200cشود و شامل همهٔ موارد بالا نمی\\u200cشود. در صورت لزوم ممکن است از نتیجه آزمایش\\u200cهای پزشکی (تست) و تصویربرداری پزشکی هم استفاده شود. تصمیم گیری پزشکی و درمان روند تصمیم گیری پزشکی شامل آنالیز و ایجاد داده\\u200cهای فوق برای رسیدن به یک فهرست از تشخیص\\u200cهای افتراقی است، در طی این روند پزشک با فکر کردن به آنچه لازم است تا یک تشخیص قطعی به دست آید مسیر درست را انتخاب می\\u200cکند. معمولاً پزشک برای رسیدن به تشخیص این مراحل را در استدلال بالینی در ذهن خود طی می\\u200cکند: پیدا کردن یافته های غیرطبیعی مشخص کردن محل آناتومیک آنها تفسیر یافته\\u200cها بر مبنای روند محتمل ایجاد فرضیه\\u200cای در مورد ماهیت مشکل بیمار آزمون فرضیه برای رسیدن به یک تشخیص عملی مشخص کردن یک نقشه درمانی قابل قبول برای بیمار در نهایت نقشه درمانی ممکن است شامل درخواست آزمایش\\u200cها و بررسی\\u200cهای آزمایشگاهی بیشتر، شروع درمان، ارجاع به متخصص و یا مشاهده هوشیارانه روند بیماری باشد. ویزیت\\u200cهای بعدی ممکن است لازم باشد. در پزشکی برای انتخاب بهترین آزمایش یا روش تصویربرداری معیارهایی وجود دارد. این اصول کلی شامل قابل اعتماد بود، اعتبار، حساسیت، خصوصیت و ارزش پیشگویی آن تست می\\u200cشود. این روند معمولاً توسط ارائه\\u200cکنندگان اصلی خدمات درمانی و همچنین متخصص\\u200cها به کار می\\u200cرود. ممکن است در صورت ساده و مشخص بودن مشکل تنها چند دقیقه طول بکشد. برعکس ممکن است هفته\\u200cها در بیماری که با نشانه\\u200cهای غیرمعمول و چند-سیستمی درگیر است به طول انجامد و چندین متخصص درگیر این روند شوند. در ویزیت\\u200cهای بعدی مشابه این روند در فرم خلاصه شده\\u200cاش تکرار می\\u200cشود تا شرح حال، نشانه\\u200cها، یافته\\u200cهای معاینه و نتیجه آزمایش\\u200cها و تصویربرداری\\u200cها و یا نتیجه مشاوره با متخصص به دست آید.\\ufeff']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 7
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ASZM6KKFc1Qo"
      },
      "source": [
        "**filtering the data**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "qMC2AS3a_3T0",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "ce49ec00-8e89-44ab-86c5-05e262162ca1"
      },
      "source": [
        "print(f\"dataset length before dropping the texts that had len(text)<300: {len(small_dataset)}\")\n",
        "data_300_len = small_dataset.filter(lambda x: len(x[\"text\"])>300)\n",
        "print(f\"dataset length after dropping the texts that had len(text)<300: {len(data_300_len)}\")"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Loading cached processed dataset at /root/.cache/huggingface/datasets/oscar/unshuffled_deduplicated_fa/1.0.0/e4f06cecc7ae02f7adf85640b4019bf476d44453f251a1d84aebae28b0f8d51d/cache-2926d5ed5aecef90.arrow\n"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "dataset length before dropping the texts that had len(text)<300: 200\n",
            "dataset length after dropping the texts that had len(text)<300: 148\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "7XZPOyjxg9Cz"
      },
      "source": [
        "using `map`"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "s2QsfrKlhAA-"
      },
      "source": [
        "accroding to docs:\n",
        "`\n",
        "you can use map to apply a processing function to each example in a dataset, independently or in batch and even generate new rows or columns.\n",
        "`"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "oyFKAW52dP3N"
      },
      "source": [
        "## some toy function to do simple cleaning\n",
        "import re\n",
        "def basic_clean(text):\n",
        "    txt = re.sub('<.*?>', '', text)\n",
        "    txt = re.sub(r'http\\S+', \"\", txt)\n",
        "    return txt\n",
        "## this fuction is used for updating the data-set according to custom functions\n",
        "def clean_map(example):\n",
        "    example[\"text\"] = basic_clean(example[\"text\"])\n",
        "    return example\n",
        "     "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "h_HLZLrTAsZz"
      },
      "source": [
        "## here we apply map to the text column of data-set\n",
        "clean_dataset = small_dataset.map(clean_map)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 140
        },
        "id": "_LWfhzJRFbPD",
        "outputId": "7d2d3dbc-37c4-4a7f-b013-1643a09fda34"
      },
      "source": [
        "clean_dataset[0][\"text\"]"
      ],
      "execution_count": 52,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            },
            "text/plain": [
              "'در روابط بین دختر و پسر بسیار پیش می آید که عشق واقعی و اصیل با عشق های زودگذر و هوس های ناگهانی اشتباه گرفته می شود و در این روابط کسی که بیشتری ضربه را می خورد دختر است. البته این را هم باید گفت در این روابط پسرها هم ضربه بدی خورده و دیگر نمی توانند به طرف مقابل شان اعتماد کنند. به همین بهانه در این مقاله سعی کرده ایم خصوصیات یک عشق واقعی را به شما نشان دهیم.\\n1 – عشق واقعی هیچ گاه به نفرت تبدیل نمی شود فقط ممکن است بعد از بروز اتفاقات ناخوشایند به بی تفاوتی تبدیل شود و اگر عشقی روزی به تنفر تبدیل شد بدانید عشق نبوده و فقط یک رابطه بوده است.\\n4 – رابطه عاشقانه ای که شادی نیاورد دروغ است ، آدم عاشق دنبال دست آویز نمی گردد تا به او گیر دهد ،دنبال شناخت است تا بیشتر دوستش داشته باشد.\\n9 – عشق دارای حرمت است .حرمت با احترام فرق دارد احترام یعنی هرچه طرف مقابل گفت ما قبول کنیم ولو غیر منطقی باشد. حرمت یعنی هر دونفر برابر هستند، یکی هستند، انسان هستند و یکی بر دیگری برتری ندارد.\\n10 – خصوصیت دیگر عشق آرامش است در عین فعالیت. آرامش در سایه عمل به این موضع که هرچه در زندگی می توانیم تغییر دهیم تغییر دهیم و چیزهایی را که نمی توانیم تغییر دهیم بپذیریم به دست می آید.'"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 52
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Jlr3Ovy3uOL9"
      },
      "source": [
        "**do processing in batches**"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "eNK4DboEuSL8"
      },
      "source": [
        "according to docs:\n",
        "`This is particularly interesting if you have a mapped function which can efficiently handle batches of inputs like the tokenizers of the fast HuggingFace tokenizers library.`"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "tvyV-qqiuuOW"
      },
      "source": [
        "Here we do some toy tokenization with BPE for sake of demonstration"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1MSe_c4i-_Ca"
      },
      "source": [
        "from pathlib import Path\n",
        "model_config = \"gpt2\"\n",
        "model_dir = model_config + \"pretrained-fa\"\n",
        "\n",
        "Path(model_dir).mkdir(parents=True, exist_ok=True)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "MDjtikXdk1Ej"
      },
      "source": [
        "from tokenizers import trainers, ByteLevelBPETokenizer\n",
        "from transformers import AutoConfig\n",
        "\n",
        "tokenizer = ByteLevelBPETokenizer()\n",
        "config = AutoConfig.from_pretrained(\"gpt2\")"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "E6riRasm-rX6"
      },
      "source": [
        "config.save_pretrained(f\"{model_dir}\")"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "EbjL6hh6wBUN"
      },
      "source": [
        "def batch_iterator(batch_size=1000):\n",
        "    for i in range(0, len(clean_dataset), batch_size):\n",
        "        yield clean_dataset[i: i + batch_size][\"text\"]\n",
        "## training a toy tokenizer\n",
        "tokenizer.train_from_iterator(batch_iterator(), vocab_size=config.vocab_size, min_frequency=2, special_tokens=[\"<|endoftext|>\"])"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uF3kNFZp8Zfa"
      },
      "source": [
        "tokenizer.save(f\"{model_dir}/tokenizer.json\")"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xh6I9qDg8dOI"
      },
      "source": [
        "from transformers import AutoTokenizer\n",
        "tokenizer = AutoTokenizer.from_pretrained(model_dir)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "R2pxqOAlxMY2"
      },
      "source": [
        "and apply the tokenization function to every text sample via the convenient `map(...)` function of Datasets. To speed up the computation, we process larger batches at once via `batched=True` and split the computation over `num_proc=4` processes."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 232,
          "referenced_widgets": [
            "1a2e6a78cc3243e1a235f139b4c39475",
            "53e1e3b762984268a3b1458235c6ce4a",
            "1e0bd7ecfe804ed289138a73d11383c5",
            "4a7abe559ca645769e0e5f1e92570759",
            "149914cd72ab4e2e979dfda84de92761",
            "ee745141059f4a85a94dd078320c5df8",
            "6faa077a02d2476996dc6c5292e3e3ac",
            "e85e0e284cb94960ab3ea6455d1a4add",
            "bbf3d96fac19403bb8fff57bb3850417",
            "266447279e594757860bb4af549c4692",
            "9cc7c9efded84c1d8bc8635f9e89b0a3",
            "3182077ba6874b7b812e5fc25c716589",
            "d2ba87d6713b42d58ff376f29c759131",
            "8afc972b3433490e895df1015b14dba8",
            "89d05c2f526a47cebf6adf295d91c6cb",
            "0f489d3b8aa9415fafd47254613bd1c3",
            "aa703fc1060144f682d744fde57eb768",
            "020b72be9bd54a069cbb988195a8f60c",
            "1de87bcf0f5846d4a0455d8556016413",
            "c6203cf8402247cd9b0b0a1c39674642",
            "269a5c476e3c463387f6a73653fb8e27",
            "5b96d04a0e2040b59b64ef0c87c9fd6b",
            "9a3c029c2d28487691f8e54c5aed8aea",
            "a2567e1a85d64000a9506122e21e7306",
            "811dc2851d9a46c89862b243d8aba520",
            "bc88809f02324b2290046a5550bf1692",
            "142cbda8d1e447b884615f34bd8889ba",
            "b41e6785d72140e6a80d03fe75999940",
            "c5526b5d36dd4b359d0903cf8f6b70c6",
            "1edf010579db4bfd8613388a9f9e51dc",
            "4d4c73f0b12246cf873278b1152e3805",
            "74e9ddea7eb245ec9db31d9170201982"
          ]
        },
        "id": "XL2Am5PQwozt",
        "outputId": "c3fe5d7d-bbd8-44d2-fe49-e306f990ae00"
      },
      "source": [
        "## apply this function to whole data-set\n",
        "def tokenize_function(examples):\n",
        "    return tokenizer(examples[\"text\"])\n",
        "tokenized_datasets = clean_dataset.map(tokenize_function, batched=True, num_proc=4)"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "    "
          ],
          "name": "stdout"
        },
        {
          "output_type": "display_data",
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "1a2e6a78cc3243e1a235f139b4c39475",
              "version_minor": 0,
              "version_major": 2
            },
            "text/plain": [
              "HBox(children=(FloatProgress(value=0.0, description=' #0', max=1.0, style=ProgressStyle(description_width='ini…"
            ]
          },
          "metadata": {
            "tags": []
          }
        },
        {
          "output_type": "display_data",
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "bbf3d96fac19403bb8fff57bb3850417",
              "version_minor": 0,
              "version_major": 2
            },
            "text/plain": [
              "HBox(children=(FloatProgress(value=0.0, description=' #1', max=1.0, style=ProgressStyle(description_width='ini…"
            ]
          },
          "metadata": {
            "tags": []
          }
        },
        {
          "output_type": "display_data",
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "aa703fc1060144f682d744fde57eb768",
              "version_minor": 0,
              "version_major": 2
            },
            "text/plain": [
              "HBox(children=(FloatProgress(value=0.0, description=' #3', max=1.0, style=ProgressStyle(description_width='ini…"
            ]
          },
          "metadata": {
            "tags": []
          }
        },
        {
          "output_type": "display_data",
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "811dc2851d9a46c89862b243d8aba520",
              "version_minor": 0,
              "version_major": 2
            },
            "text/plain": [
              "HBox(children=(FloatProgress(value=0.0, description=' #2', max=1.0, style=ProgressStyle(description_width='ini…"
            ]
          },
          "metadata": {
            "tags": []
          }
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "\n",
            "\n",
            "\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "fvf56TiDFU6G"
      },
      "source": [
        "There are lots and lots of features which you can check here [HuggingFace Datasets](https://huggingface.co/docs/datasets/master/index.html)\n",
        "I think These functionalities comes handy especialy map which we can apply to whole data-set for tokenization and preprocessing to do this tasks ver very fast!!!!"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "jsn3sFhrxjcd"
      },
      "source": [
        "**Quick note:** Here we select a subsample of data-set so if we wanna do this on whole data in `batch iterator` func we sould put `dataset[\"train\"]` instead of `dataset`"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "WgE8ytKZyrVU"
      },
      "source": [
        "Also In This notebook you can see the whole procedure and also training gpt-2 from scratch in jax/fax script\n",
        "[Causal Language Model Training on TPU with 🤗 Transformers  & JAX](https://colab.research.google.com/github/huggingface/notebooks/blob/master/examples/causal_language_modeling_flax.ipynb#scrollTo=lco7GkZ8nF-a)"
      ]
    }
  ]
}