m3hrdadfi commited on
Commit
7c44842
1 Parent(s): 32a90be

Update normalizer

Browse files
Files changed (2) hide show
  1. examples.json +7 -85
  2. normalizer.py +8 -8
examples.json CHANGED
@@ -29,124 +29,46 @@
29
  "answer": "1492",
30
  "title": "Example No. 5"
31
  },
32
- {
33
- "context": "فرانسه (به فرانسوی: La France ) با عنوان رسمی جمهوری فرانسه (به فرانسوی: R publique fran aise ) یکی از کشورهای اروپای غربی است که دارای منطقه‌ها و قلمروهای زیادی در آنسوی دریاهاست. فرانسه یکی از سه کشوری است که سواحلی هم در دریای مدیترانه و هم در اقیانوس اطلس دارد (دو کشور دیگر عبارتند از اسپانیا و مراکش). به دلیل شکل نقشه این کشور، در زبان فرانسوی به آن لقب l ' Hexagone (معنی: شش‌ضلعی) داده‌اند. فرانسه از جنوب با آندورا و اسپانیا، از شرق با ایتالیا و سوییس و آلمان و لوکزامبورگ و بلژیک، از جنوب با موناکو مرز زمینی دارد. همچنین از طریق کانال مانش با انگلستان هم‌مرز است. بر پایه مساحت، فرانسه بزرگ‌ترین کشور اروپای غربی و اتحادیه اروپا و همچنین سومین کشور بزرگ در کل قاره اروپا به‌شمار می‌آید. جمعیت فرانسه فراتر از 65 / 2 میلیون تن است که با این شمار، فرانسه در رتبه دومین کشور پرجمعیت پس از آلمان در اتحادیه اروپا قرار می‌گیرد. پایتخت فرانسه، شهر پاریس است. این شهر بزرگ‌ترین شهر این کشور و مرکز اصلی تجارت و فرهنگ فرانسه است. قانون اساسی فرانسه برپایه یک همه‌پرسی در 4 اکتبر 1958 به رسمیت رسیده‌است. این قانون ت کید بر ایجاد کشوری سکولار و دموکرات دارد که مردم در آن، حق حاکمیت را ایجاد می‌کنند. اعلامیه حقوق انسان و شهروند که در انقلاب فرانسه تدوین شد",
34
- "question": "فرانسه از نظر بزرگی چندمین کشور بزرگ اروپا است؟",
35
- "answer": "سومین کشور بزرگ",
36
- "title": "Example No. 6"
37
- },
38
  {
39
  "context": "الکترونیک آرتز یا به‌طور مختصر ای‌ای شرکتی آمریکایی است که از بزرگترین شرکت‌های تولید و توزیع بازی‌های رایانه‌ای به‌شمار می‌آید. تریپ هاوکینگز این شرکت را در سال 1982 ت سیس کرد و هدف اولیه او تولید انواعی از بازی‌های رایانه‌ای بود که در خانه می‌توان با آن‌ها بازی کرد. ای‌ای در اواخر دهه 80 به بهبود و توسعه حوزه کاری خود در زمینه بازی‌های رایانه‌ای پرداخت و با جذب چندین چهره مبتکر، موفق به رشد و توسعه بسیار در این زمینه شد. شرکت ای‌ای در سال 2007 رتبه هشتم در فهرست بزرگترین شرکت‌های طراحی نرم‌افزار را به خود اختصاص داد. درآمد سالانه شرکت ای‌ای در مه 2008 به بیش از 4 ٫ 02 میلیارد دلار رسید و این مقدار، رو به افزایش است. موفق‌ترین بازی‌های ای‌ای، بازی‌های ورزشی (که توسط بخش ای‌ای اسپورتز، وابسته به این شرکت تولید می‌شود)، بازی‌های برگرفته از فیلم‌های محبوب و البته بازی‌های معروفی است که این شرکت همواره به ساختن آن‌ها مشغول بوده‌است از جمله این بازی‌ها می‌توان به بازی‌هایی مانند نید فور اسپید، مدال افتخار، سیمز، بتل فیلد و برن اوت اشاره کرد. یک نکته حایز اهمیت در مورد این شرکت این است که در جمع 5 شرکت منفور دنیا قرار دارد.",
40
  "question": "بازی‌های سبک ورزشی شرکت الکترونیک آرتز توسط کدوم قسمت ساخته می‌شه؟",
41
  "answer": "ای‌ای اسپورتز",
42
- "title": "Example No. 7"
43
- },
44
- {
45
- "context": "ژرمن شپرد یا سگ چوپان آلمانی یکی از نژادهای سگ است. سگ چوپان آلمانی یکی از نژادهای اصیل آلمانی است که برای نخستین بار در سال 1899 ثبت گردید. سگی باهوش، شجاع و مناسب برای کارهای مختلف از جمله گله داری، نگهبانی، راهنمای نابینایان، همراه خانواده، و جستجو و نجات است. قد استاندارد تا جدوگاه در نرها 60 تا 65 سانتی‌متر و در ماده‌ها 55 تا 60 سانتی‌متر است. طول عمر از 9 تا 13 سال است. این نژاد را اکثر افراد به دلیل استفاده در فیلم‌هایی نظیر رکس می‌شناسند و همچنین این سگ حضور موثری در صحنه‌های امدادی دارد. در خاورمیانه دسته‌هایی از شپردهای پلاس فراوان هستند اما نژاد ژرمن شپرد بیشتر در اروپا زندگی دیده شده‌است. مهمترین ویژگی در این نژاد رفتارهای اشرافی، شهامت و توانایی آموختن رفتارها و فعالیت‌های اختصاصی است. نخستین ویژگی یک جرمن شپرد خوب، قدرت، چالاکی، عضلات مناسب و هوشیاری است. رنگ در سگهای ژرمن شپرد متفاوت است و تقریبا اکثر رنگها قابل قبول هستند. با این وجود رنگهای خیلی کم رنگ یا سفید یک دست قابل قبول نمی‌باشد.",
46
- "question": "نژاد سگ ژرمن شپرد برای کجاییه؟",
47
- "answer": "از نژادهای اصیل آلمانی",
48
- "title": "Example No. 8"
49
- },
50
- {
51
- "context": "مهدی بازرگان تبریزی معروف به مهندس بازرگان سیاستمدار، عضو جبهه ملی ایران، موسس حزب نهضت آزادی ایران، استاد دانشگاه، پژوهشگر قرآن، نخست‌وزیر دولت موقت، نماینده نخستین دوره مجلس شورای اسلامی بود. او نخستین دانشیار دانشگاه تهران بود و مدتی بعد استاد و به مدت 6 سال رییس دانشکده فنی دانشگاه تهران شد. بازرگان در ابتدا مخالف دخالت در سیاست بود اما با تشکیل دولت محمد مصدق وارد فعالیت سیاسی شد. او در ابتدا به عنوان معاون وزیر فرهنگ کابینه اول مصدق برگزیده شد و سپس مصدق در جریان ملی شدن صنعت نفت او را رییس هییت خلع ید از شرکت نفت انگلیس انتخاب کرد. پس از سقوط دولت مصدق در جریان کودتای 28 مرداد، فعالیت‌های سیاسی بازرگان گسترش بیشتری یافت. مهدی بازرگان به همراه چهره‌هایی از جمله سید رضا زنجانی اقدام به ت سیس نهضت مقاومت ملی کردند و در آن گروهی از طرفداران مصدق نظیر داریوش فروهر و سایر افراد همچون سید محمود طالقانی را برای مبارزه سیاسی سازمان دادند. در آستانه پیروزی انقلاب 1357 ، بازرگان به عنوان نخست‌وزیر ایران و رییس دولت موقت معرفی شد.",
52
- "question": "به جز بازرگان چه کسی در ایجاد نهضت مقاومت ملی شریک بود؟",
53
- "answer": "رضا زنجانی",
54
- "title": "Example No. 9"
55
  },
56
  {
57
  "context": "کویر یا نمک زار منطقه‌ای است که به دلیل موقعیت جغرافیایی (معمولا ختم رودخانه‌ها در آن) و حرارت شدید آفتاب به نمک‌زار بدل شده باشد. برخی کویرها قبلا دریاچه یا دریاهایی بوده‌اند که در اثر تبخیر آب از آن‌ها به نمک‌زار بدل شده‌اند. کویر مرکزی ایران که دشت کویر نامیده می‌شود، درون خود تعداد زیادی کویر کوچک‌تر، مانند کویر درانجیر، کویر ساغند، کویر بند ریگ را جا داده‌است. با وجود این‌که در بین عامه مردم رایج است که اصطلاح \"کویر\" و \"بیابان\" را به‌جای یکدیگر به‌کار می‌برند ولی بین این دو اصطلاح تفاوت اساسی وجود دارد. بیابان به بخشی از مناطق خشک گفته می‌شود که بارندگی سالانه آن کمتر از 50 میلی‌متر است و ممکن است چند سال در آن باران نبارد و با کم‌آبی و تبخیر شدید مواجه است و پوشش گیاهی آن بسیار ضعیف است. اما کویر به زمین‌های رسی پف‌کرده، با شوری و نمک بسیار شدید گفته می‌شود که گیاهان نمی‌توانند در آن رشد نمایند. در بعضی از کویرها که شوری خاک کمتر است، ممکن است گیاهانی مانند گز که دربرابر املاح نمکی مقاوم است، در آن رشد نماید.",
58
  "question": "بافت گیاهی در کویر چگونه است؟",
59
  "answer": "در بعضی از کویرها که شوری خاک کمتر است، ممکن است گیاهانی مانند گز که دربرابر املاح نمکی مقاوم است، در آن رشد نماید.",
60
- "title": "Example No. 10"
61
- },
62
- {
63
- "context": "فرودگاه بین‌المللی مهرآباد نام یکی از فرودگاه‌های شهر تهران، پایتخت ایران است که در سال 1317 ساخته شده‌است. این فرودگاه در بخش غربی تهران واقع شده و نام خود را از روستای مهرآباد جنوبی ده بالا که پیشتر در آن منطقه قرار داشت گرفته‌است. این فرودگاه مجهز به سامانه‌های آی ال اس و وی او آر است. فرودگاه مهرآباد پس از فرودگاه مسجد سلیمان، فرودگاه بندر لنگه، قلعه مرغی و فرودگاه خرم‌آباد، پنجمین فرودگاه ایران می‌باشد. در سال 2015 میلادی 132 ٬ 245 نشست و برخاست هواپیما در این فرودگاه انجام شد و 111 ٬ 107 ٬ 822 کیلوگرم بار و 16 ٬ 327 ٬ 359 نفر مسافر از طریق آن جابجا شدند. نام اصلی روستای مهرآباد \"حسین‌آباد\" و در تملک حاجی میرزا آقاسی صدراعظم محمد شاه قاجار بود. حاجی میرزا آقاسی، حسین‌آباد را به ناصرالدین شاه هدیه کرد و بعد از مدتی جزو مهریه عصمت‌الدوله (دختر ناصرالدین‌شاه) و همسر دوستمحمدخان معیرالممالک، درآمد و نام مهرآباد را بر آن گذاشتند. اما بعدها به مناسبت خرج‌های بی‌رویه دوستمحمدخان، مهرآباد به گرو رفت و از تملک خاندان معیرالممالک خارج شد و دادخواهی دوستعلی معیری پسر دوست‌محمدخان نیز نزد رضاشاه بی‌فایده بود.",
64
- "question": "فرودگاه مهرآباد کجاست؟",
65
- "answer": "شهر تهران",
66
- "title": "Example No. 11"
67
  },
68
  {
69
  "context": "قطب‌نما وسیله‌ای برای تعیین جهت (جهت‌یابی) است. این وسیله با استفاده از میدان مغناطیسی زمین جهت قطب شمال را نشان می‌دهد که در حقیقت شمال مغناطیسی زمین است که با شمال حقیقی مقداری فاصله دارد. زاویه بین شمال حقیقی و شمال مغناطیسی، میل مغناطیسی نامیده می‌شود. امروزه برای تعیین شمال حقیقی از قطب‌نماهای پیشرفته‌تری مانند قطب‌نمای ژیروسکوپی استفاده می‌شود. قطب‌نمایی که از یک آهنربا ساخته شده یعنی قطب‌نمای مغناطیسی جهت را نشان می‌دهد زیرا زمین چون آهنربای بزرگی عمل می‌کند. نیروی آهنربایی زمین قطب‌نما یا سوزن مغناطیسی را به سوی شمال و جنوب می‌کشد. کسی نمی‌داند که چه کسی اول بار قطب‌نما را ساخت. برخی گمان می‌کنند که چینیان نخستین بار قطب‌نما را ساختند برخی دیگر می‌گویند که قطب‌نما در ایتالیا اختراع شده‌است. بعضی از نخستین قطب‌نماها تکه‌های اکسید مغناطیسی آهن بوده‌اند که بر قطعات چوبی یا چوب‌پنبه قرار داشتند و در یک ظرف آب شناور بودند. اکسید مغناطیسی آهن نوعی کانی آهن است یک نام دیگر آن ماگنتیت است. تکه‌های ماگنتیت آهنرباهای طبیعی هستند. پس از آن مردم ساختن آهن‌ربا از فولاد را یادگرفتند و توانستند قطب‌نماهای بهتری بسازند.",
70
  "question": "اکسید مغناطیسی آهن چیه؟",
71
  "answer": "نوعی کانی آهن",
72
- "title": "Example No. 12"
73
  },
74
  {
75
  "context": "لاستیک طبیعی که لاستیک هندی یا کایوچو نیز نامیده می‌شود، قدیمی‌ترین الاستومر تجاری است که از لاتکس ساخته می‌شود. لاتکس ترشحات داخلی یک درخت گرمسیری به نام درخت لاستیک است. لاتکس در شکل خام خود، نوعی چسب بسیار خوب است و می‌توان با انحلال آن در حلال‌های مناسب، چسب‌های مختلفی تولید کرد. لاتکس در ابتدای تولید، از پلیمرهایی از ترکیب آلی ایزوپرین با ناخالصی‌های جزیی از سایر ترکیبات آلی، به علاوه آب تشکل شده‌است. تایلند، مالزی و اندونزی کشورهای پیشرو در تولید لاستیک هستند. انواع پلی ایزوپرین که به عنوان لاستیک‌های طبیعی استفاده می‌شوند، در دسته الاستومرها طبقه‌بندی می‌شوند. اولین استفاده از لاستیک توسط فرهنگ‌های بومی آمریکای میانه انجام شد. آنها از این لاستیک برای ساخت توپ بازی استفاده می‌کردند. بعدها لاستیک توسط فرهنگ‌های مایا و آزتک مورد استفاده قرار گرفت. آزتک‌ها علاوه بر ساخت توپ، از لاستیک برای اهداف دیگری مانند ساخت ظروف و ضدآب ساختن منسوجات از طریق اشباع آنها با شیره لاتکس استفاده می‌کردند.",
76
  "question": "آمریکای میانه در ابتدا از لاستیک برای تولید چی استفاده می‌کرد؟",
77
  "answer": "توپ بازی",
78
- "title": "Example No. 13"
79
- },
80
- {
81
- "context": "پری دریایی در فرهنگ عامه، یک موجود افسانه‌ای آبزی است که سر و تنه‌ای به شکل یک زن زیبا و دمی شبیه به ماهی دارد. پری دریایی، در بسیاری از افسانه‌ها اینطور تصویر شده است که در کنار ساحل دریا می‌ایستد و با یک دست در حال شانه‌کردن موهای بلندش و در دست دیگرش آینه‌ای را نگاه داشته‌است. در قصه‌های بسیاری، پریان دریا، غالبا به پیشگویی اتفاقات آینده می‌پردازند، گاهی از روی اجبار، نیروهای فراطبیعی خود را به انسان‌ها می‌بخشند و گاهی عاشق انسانها شده، یا با فریفتن انسان‌های فانی که دل در گرو عشق آنها بسته‌اند، آنها را به قعر دریا می‌برند. تشابهاتی بین افسانه‌های پری دریایی و افسانه‌های سیرن (حوری دریایی اسطوره‌های یونان) وجود دارد. هانس کریستین اندرسن، در داستان محبوب پری دریایی کوچولو که در سال 1836 آنرا به رشته تحریر درآورد، درباره پریان دریایی اینگونه نقل می‌کند که آنها فراموش می‌کنند که انسانها نمی‌توانند در زیر آبها نفس بکشند، حال آنکه به عقیده برخی دیگر، آنها از روی کینه و دشمنی، انسانها را غرق می‌کنند.",
82
- "question": "پری دریای در کنار ساحل چه در دست دارد؟",
83
- "answer": "آینه",
84
- "title": "Example No. 14"
85
  },
86
  {
87
  "context": "آتیلا ( 405 453 میلادی) یکی از رهبران قوم هون بود که بزرگ‌ترین امپراتوری را در اروپا، از رود اورال تا دانوب تشکیل داد. در زمان فرمانروایی، وی یکی از مخوف‌ترین دشمنان امپراتوری‌های روم غربی و شرقی بود. رومیان به او لقب تازیانه خداوند داده بودندو به او باج می‌دادند تا کاری به کار رم نداشته باشد. آتیلا در آغاز به ایران حمله کرد و با شکست مواجه شد. حمله‌ای که او در سال 441 میلادی به امپراتوری بیزانس کرد باعث شد تا تصمیم به حملات بیشتری به سوی غرب بگیرد. وی در اروپا شهرهای بسیاری را نابود و غارت کرد.سرانجام، در نبرد دشت کاتالانی‌ها، در مقابل فلاویوس آییتیوس شکست خورد. در این جنگ، رومی‌ها و آلانی‌ها به مصاف با هون‌ها رفتند.هون‌ها در ناحیه بین رود ولگا و دشت‌های مجارستان می‌زیستند، از آغاز سده پنجم به تاخت و تازهای فراوان و پرسودی در حوالی رود دانوب دست زدند، بنابراین، در حدود 445 تا 440 میلادی، دربار آتیلا به تجمل و زیبایی آراسته بود، شماره اسیرانی که می‌گرفتند بسیار بود، هر دو زبان یونانی و لاتین در دربار تکلم می‌شد، و دبیران رومی‌تبار رویدادهای خارجی را همواره به آگاهی خان می‌رساندند، آتیلا، زرد رنگتر از بیشتر افراد قومش بود،",
88
  "question": "رومی‌ها چه لقبی به اتیلا داده بودند؟",
89
  "answer": "تازیانه خداوند",
90
- "title": "Example No. 15"
91
- },
92
- {
93
- "context": "فرمول یک به \"مسابقات اتومبیل‌رانی جایزه بزرگ\" نیز مشهور است. فدراسیون بین‌المللی اتومبیل‌رانی، سازمان‌دهی ورزش‌های اتومبیل‌رانی �� مسابقات اتومبیل‌رانی را بر عهده دارد. زمانی که فرانسوی‌ها در سال 1906 نخستین گرند پری (جایزه بزرگ) را برگزار کردند، فکرش را نمی‌کردند که به مسابقه بزرگی تبدیل شود. نخستین مسابقه 32 خودرو را دربرمی‌گرفت که در مسیری به مسافت 104 کیلومتر در نزدیکی لمان برگزار شد و دو روز به طول انجامید. خودروی برنده یک رنو تحت هدایت فرنس سیز مجارستانی بود که سرعت متوسطی برابر 100 کیلومتر در ساعت داشت. از آن شروع ساده، فرمول یک متولد شد و با گذر زمان در این سال‌ها به یکی از پرطرفدارترین ورزش‌های دنیا تبدیل شده‌است. فرمول یک به کلاسی از خودروها گفته می‌شود که تک نفره و به اصطلاح \"چرخ باز\" هستند. \"چرخ باز\" به خودروهایی گفته می‌شود که تایرهای خودرو از بدنه جدا و خارج از آن هستند، برخلاف خودروهای معمولی که تایرها زیر سپر قرار گرفته‌اند. مقصود از لفظ \"فرمول\" مجموعه‌ای از مقررات و قوانین است که همه شرکت‌کنندگان و خودروها باید از آن پیروی کنند. فصل قهرمانی فرمول یک جهان از مجموعه‌ای از مسابقات، که به جایزه بزرگ مشهور است تشکیل شده، که معمولا در فهرست پیست‌های فرمول یک، و در موارد معدودی در جاده‌های بسته شهری برگزار می‌شود.",
94
- "question": "برنده اولین سری مسابقات فرمول یک کی بود؟",
95
- "answer": "فرنس سیز مجارستانی",
96
- "title": "Example No. 16"
97
- },
98
- {
99
- "context": "مرتضی مطهری در 13 بهمن 1298 در شهر فریمان از توابع مشهد در خانواده‌ای روحانی با اصالت سیستانی زاده شد. پدرش شیخ محمد حسین کیخا (مطهری)، نوه شیخ محمد علی کیخا از معتمدین سیستان از دهکده کنگ پیران بخش پشت‌آب شهرستان زابل بود. محمد علی کیخا بیش از یک قرن پیش برای نزدیکی بیشتر به حرم امام رضا و حوزه علمیه مشهد از شهرستان زابل در استان سیستان و بلوچستان به شهرستان فریمان در استان خراسان مهاجرت کرد. مرتضی مطهری در کودکی برای فراگیری دروس ابتدایی به مکتبخانه رفت. در سن دوازده سالگی به حوزه علمیه مشهد رفت و به تحصیل مقدمات علوم اسلامی پرداخت. در سال 1316 برای تکمیل تحصیلات خود عازم حوزه علمیه قم شد. اندکی پیش از سفر مطهری به قم، عبدالکریم حایری یزدی، بنیانگذار حوزه علمیه درگذشته بود و ریاست حوزه را سه تن از مدرسان بزرگ آن سید محمد حجت، سید صدرالدین صدر و سید محمدتقی خوانساری به عهده گرفته بودند. گفتنی است مرتضی مطهری که از شخصیت‌های مهم در انقلاب اسلامی است به عنوان یک شخصیت سیستانی کمتر شناخته می‌شود. پدربزرگ مرتضی مطهری یعنی آخوند ملا محمد علی کیخا، از علمای برجسته سیستانی بوده که به همراه خانواده خویش یعنی پدر مرتضی مطهری به منطقه خراسان کوچ می‌کنند و برای همین ایشان کمتر به عنوان یک سیستانی شناخته شده‌اند",
100
- "question": "مطهری در چه سالی رفت به حوزه قم؟",
101
- "answer": "1316",
102
- "title": "Example No. 17"
103
- },
104
- {
105
- "context": "الکترونیک آرتز یا به‌طور مختصر ای‌ای شرکتی آمریکایی است که از بزرگترین شرکت‌های تولید و توزیع بازی‌های رایانه‌ای به‌شمار می‌آید. تریپ هاوکینگز این شرکت را در سال 1982 ت سیس کرد و هدف اولیه او تولید انواعی از بازی‌های رایانه‌ای بود که در خانه می‌توان با آن‌ها بازی کرد. ای‌ای در اواخر دهه 80 به بهبود و توسعه حوزه کاری خود در زمینه بازی‌های رایانه‌ای پرداخت و با جذب چندین چهره مبتکر، موفق به رشد و توسعه بسیار در این زمینه شد. شرکت ای‌ای در سال 2007 رتبه هشتم در فهرست بزرگترین شرکت‌های طراحی نرم‌افزار ��ا به خود اختصاص داد. درآمد سالانه شرکت ای‌ای در مه 2008 به بیش از 4 ٫ 02 میلیارد دلار رسید و این مقدار، رو به افزایش است. موفق‌ترین بازی‌های ای‌ای، بازی‌های ورزشی (که توسط بخش ای‌ای اسپورتز، وابسته به این شرکت تولید می‌شود)، بازی‌های برگرفته از فیلم‌های محبوب و البته بازی‌های معروفی است که این شرکت همواره به ساختن آن‌ها مشغول بوده‌است از جمله این بازی‌ها می‌توان به بازی‌هایی مانند نید فور اسپید، مدال افتخار، سیمز، بتل فیلد و برن اوت اشاره کرد. یک نکته حایز اهمیت در مورد این شرکت این است که در جمع 5 شرکت منفور دنیا قرار دارد.",
106
- "question": "محبوب‌ترین بازی‌های تولید شده توسط الکترونیک آرتز چیه؟",
107
- "answer": "نید فور اسپید، مدال افتخار، سیمز، بتل فیلد",
108
- "title": "Example No. 18"
109
  },
110
  {
111
  "context": "ماده سوختنی ماده‌ای است که در اثر تغییرات (معمولا شیمیایی) تولید انرژی مفید می‌کند که بعدا می‌تواند تبدیل به انرژی مکانیکی شود. این تغییرات معمولا با سوختن (یعنی ترکیب با اکسیژن) همراه است. فرایندهای مورد استفاده برای تبدیل سوخت به انرژی عبارتند از: واکنش‌های شیمیایی مختلف و گرمازا، واکنش‌های هسته‌ای مانند شکافت هسته‌ای یا گداخت هسته‌ای. هیدروکربن‌ها تا حد زیادی شایع‌ترین منبع سوخت مورد استفاده توسط انسان است، اما در بسیاری از موارد فلزات رادیو اکتیو نیز استفاده می‌شوند. اولین استفاده از سوخت توسط بشر ، احتراق و سوزاندن تکه‌های چوب در حدود 2 میلیون سال پیش توسط انسان راست قامت بود . به صورت کلی در طول تاریخ زندگی بشر که تا به حال با آن آشنا شده‌ایم ، تنها سوخت هایی که بیشترین استفاده را داشته است از گیاهان و یا چربی حیوانات بدست می‌آمده است و مورد استفاده انسان قرار گرفته است . انسان‌ها از 6000 سال قبل از میلاد مسیح برای ذوب آهن از زغال چوب و مشتقات چوب استفاده میکردند. بعد‌ها این سوخت‌ها جای خودشان را با کک عوض کردند . به دلیل اینکه در حوالی قرن 18 جنگل‌های اروپا در حال نابودی بودند.",
112
  "question": "سوخت چجوری انرژی قابل استفاده تولید می‌کنه؟",
113
  "answer": "در اثر تغییرات",
114
- "title": "Example No. 19"
115
- },
116
- {
117
- "context": "ولایت: به معنی دوستی و پذیرش سرپرستی خدا، پیامبران، امام و دعات(مبلغین) است. در آموزه‌های اسماعیلی، خدا می‌تواند در پیامبران و امامان تجلی کند. دعات مومنان را به راه راست رهبری و راهنمایی می‌کنند. دروزیان از این رکن با نام تسلیم نام می‌برند. طهارت: به معنی پاکیزگی است، این رکن دین از قرآن گرفته شده است. درزیان طهارت را از ارکان دین نمی‌دانند. نماز (اسلام): برخلاف مسلمانان سنی و شیعیان دوازده امامی، اسماعیلیان معتقدند که تعیین شیوه صحیح نماز خواندن برعهده امام حاضر است. شیوه نماز خواندن امروز نزاریان، از قدیم تغییری نکرده و مانند دیگر مسلمانان نماز 5 بار در روز و 17 رکعت می‌خوانند که نماز صبح 2 رکعت نماز ظهر و عصر که با هم می‌باشد هر کدام چهار رکعت و نماز مغرب 3 رکعت که با نماز عشا که 4 رکعت است با هم می‌خوانند و پس از خواندن سوره‌ی فاتحه در نماز یا هم برخی پس از خواندن نماز دعایی مخصوص را می‌خوانند . درزیان، معنای نماز را صدق لسان(معنی لغوی زبان راست است ولی معنی این عبارت یاد نیک است) می‌دانند و شیوه خاصی برای نماز خواندن ندارند. ایشان نماز را به شیوه دیگر مسلمانان، سیره جهال می‌دانند اما به لحاظ تاریخی، شرکت در نماز جماعت را برای تقیه جایز می‌دانند.",
118
- "question": "درزیان چه حکمی در مورد نماز جماعت دارند؟",
119
- "answer": "برای تقیه جایز می‌دانند",
120
- "title": "Example No. 20"
121
- },
122
- {
123
- "context": "زبان عربی (به عربی: اللغه العربیه) یکی از زبان‌های سامی و یکی از شش زبان‌های رسمی سازمان ملل متحد، زبان مقدس در اسلام، زبان رسمی در جهان عرب، و زبان اقلیت در بقیه کشورهای شمال آفریقا است. عربی زبان رسمی 25 کشور و با 470 میلیون نفر گویشور جزء پرگویش‌ترین زبان‌های جهان است. امروزه این زبان دارای 13 لهجه‌و گویش‌های گوناگون است ولی عربی نوین معیار به عنوان زبان رسمی نوشتار در همه کشورهای عربی پذیرفته شده‌است. ت ثیر عربی بر دیگر زبان‌های جهان مانند فارسی، پشتو، اردو، هندی، و زبان‌های گوناگون خانواده زبان‌های ترکی چشمگیر است. زبان عربی، زبان قرآن و بسیاری از نخستین نوشتارهای مسلمانان است و نزد بسیاری از مسلمانان یک زبان مقدس محسوب می‌شود. در دوران طلایی اسلام، عربی به عنوان نخستین زبان جهان اسلام از اهمیت بالایی برخوردار بود و آثار علمی، ادبی و دینی فراوانی به این زبان نوشته می‌شد. این زبان را \"لغه الضاد\" نیز می‌نامند، زیرا تنها زبانی است که دارای ضاد می‌باشد و ضاد حرفی‌ست که سخت‌ترین شیوه کاربرد را دارد، زبان آلبانیایی هم پس از ورود زبان عربی، حرف ضاد وارد آن شد.",
124
- "question": "زبان عربی به عربی چیست؟",
125
- "answer": "العربیه",
126
- "title": "Example No. 21"
127
  },
128
  {
129
  "context": "ژرمن شپرد یا سگ چوپان آلمانی یکی از نژادهای سگ است. سگ چوپان آلمانی یکی از نژادهای اصیل آلمانی است که برای نخستین بار در سال 1899 ثبت گردید. سگی باهوش، شجاع و مناسب برای کارهای مختلف از جمله گله داری، نگهبانی، راهنمای نابینایان، همراه خانواده، و جستجو و نجات است. قد استاندارد تا جدوگاه در نرها 60 تا 65 سانتی‌متر و در ماده‌ها 55 تا 60 سانتی‌متر است. طول عمر از 9 تا 13 سال است. این نژاد را اکثر افراد به دلیل استفاده در فیلم‌هایی نظیر رکس می‌شناسند و همچنین این سگ حضور موثری در صحنه‌های امدادی دارد. در خاورمیانه دسته‌هایی از شپردهای پلاس فراوان هستند اما نژاد ژرمن شپرد بیشتر در اروپا زندگی دیده شده‌است. مهمترین ویژگی در این نژاد رفتارهای اشرافی، شهامت و توانایی آموختن رفتارها و فعالیت‌های اختصاصی است. نخستین ویژگی یک جرمن شپرد خوب، قدرت، چالاکی، عضلات مناسب و هوشیاری است. رنگ در سگهای ژرمن شپرد متفاوت است و تقریبا اکثر رنگها قابل قبول هستند. با این وجود رنگهای خیلی کم رنگ یا سفید یک دست قابل قبول نمی‌باشد.",
130
  "question": "عمر سگ ژرمن شپرد چند ساله؟",
131
  "answer": "9 تا 13 سال",
132
- "title": "Example No. 22"
133
- },
134
- {
135
- "context": "سلمان فارسی (پیش از مسلمان شدن: روزبه) ( 568 653 میلادی) صحابی ایرانی بود که پیامبر اسلام او را از خود (اهل بیت) خواند و به سلمان محمدی شهرت یافت. در ایران به اعتقاد بسیاری او یک خاین بوده، که در مقابله سپاه ساسانی برای اعراب جنگیده مخصوصا حضور او در نبرد قادسیه و کشتار ایرانیان در این نبرد و در اختیار گذاشتن بسیاری از اطلاعات سری ایران برای اعراب در زمان حمله اعراب به ایران در روزی که قریش نیروهایش را نزدیک مدینه گردآورد تا بر مسلمانان حمله برد (غزوه خندق)، او پیشنهاد داد تا خندقی ژرف پیرامون مدینه حفر گردد تا از آن پاسبانی شود. سلمان فارسی نزد مسلمانان به‌ویژه مسلمانان شیعه گرامی داشته ��ی‌شود و برای او جایگاهی والا در نظر دارند. او با این که پسر یکی از دهقانان ایران بود، زرتشتی باقی نماند و سال‌ها به سرزمین‌های گوناگون سفر کرد که در همین سفرها در سرزمینی به بردگی درآمد و سپس با کمک محمد آزاد گشت. سلمان فارسی حکیمی که خرد و دانش‌های ایرانیان و مسیحیان را می‌دانست از مشاوران محمد، از جمله طراح اصلی حفر خندق در جنگ خندق بوده‌است. او در سال‌های پایانی زندگی خود استاندار (والی) مداین گردید. وی از اولین ایرانیانی بود که اسلام را پذیرفت. در خصوص زندگی او مجموعه‌ای تلویزیونی در حال ساخت است.",
136
- "question": "لغب سلمان فارسی چه بوده است؟",
137
- "answer": "سلمان محمدی",
138
- "title": "Example No. 23"
139
- },
140
- {
141
- "context": "جشنواره فیلم فجر مهم‌ترین جشنواره سینمایی ایران است که از سال 1361 تاکنون، در میانه بهمن ماه هر سال در تهران برگزار می‌گردد. تاکنون 39 دوره از این جشنواره برگزار شده‌است که آخرین آن در سال 1399 بوده است. این جشنواره توسط بنیاد سینمایی فارابی و زیر نظر وزارت فرهنگ و ارشاد اسلامی برگزار می‌شود. جشنواره فیلم فجر، جایگزینی برای جشنواره بین‌المللی فیلم تهران بود که تا پیش از انقلاب 1357 جمهوری اسلامی ایران، با حمایت دفتر مخصوص فرح پهلوی در ایران برگزار می‌شد و در آن فیلم‌های برگزیده سینمای ایران در کنار آثار سینمای بین‌المللی رقابت می‌کردند. بعد از انقلاب اسلامی ایران، این جشنواره تعطیل شد و بعد از 4 سال، جشنواره فیلم فجر، هم‌زمان با روزهای دهه فجر جایگزین آن شد. نخستین دوره‌ی جشنواره فیلم فجر از 12 تا 22 بهمن سال 1361 به دبیری حسین وخشوری برگزار شد. در بخش جوایز از دوره پنجم به برندگان \"لوح زرین\" اهدا شد و عنوان \"سیمرغ\" از هفتمین دوره جشنواره به صورت جدی مطرح گردید که تا امروز ادامه داشته‌است. در حال حاضر \"دیپلم افتخار\" دیگر جایزه جشنواره فیلم فجر است.",
142
- "question": "آخرین دوره جشنواره فیلم فجر چه سالی بود؟",
143
- "answer": "سال 1399",
144
- "title": "Example No. 24"
145
- },
146
- {
147
- "context": "جعبه سیاه، پروازنگار یا ضبط‌کننده اطلاعات پرواز در هواپیما (و همچنین در کشتی، بالگرد و فضاپیما‌های سرنشین دار) ابزاری است که در طول پرواز جهت ذخیره پارامترهای خاصی به کار می‌رود. با بروز هر سانحه‌ای برای یک هواپیما سوالات زیادی در مورد علت سقوط هواپیما مطرح می‌شود. پاسخ به این سوالات به کمک دستگاه ثبت اطلاعات فنی پرواز و دستگاه ثبت صداهای کابین و هواپیما که در مجموع جعبه سیاه نامیده می‌شود، انجام می‌گیرد. این سیستم‌ها که هر یک قیمتی بین 10 تا 15 هزار دلار دارند، جزییات پرواز را در طول مسیر ضبط می‌کنند. سیستم جعبه سیاه علی‌رغم آنچه از نامش پیداست، دارای رنگ نارنجی فسفری است. داشتن چنین رنگ شاخصی به همراه نوار انعکاس دهنده متصل شده به بخش خارجی ضبط‌کننده بعد از وقوع سانحه در پیدا کردن جعبه سیاه بخصوص در هنگام سقوط هواپیما در آب، بسیار موثر است. برادران رایت اولین کسانی بودند که از این سیستم‌ها استفاده کردند. آن‌ها از وسیله‌ای برای ضبط چگونگی چرخش پره‌های ملخ استفاده می‌کردند. اما استفاده گسترده از این‌گونه سیستم‌ها تا پیش از جنگ جهانی دوم آغاز نشد.",
148
- "question": "کی اولین بار از جعبه سیاه استفاده کرد؟",
149
- "answer": "برادران رایت",
150
- "title": "Example No. 25"
151
  }
152
  ]
 
29
  "answer": "1492",
30
  "title": "Example No. 5"
31
  },
 
 
 
 
 
 
32
  {
33
  "context": "الکترونیک آرتز یا به‌طور مختصر ای‌ای شرکتی آمریکایی است که از بزرگترین شرکت‌های تولید و توزیع بازی‌های رایانه‌ای به‌شمار می‌آید. تریپ هاوکینگز این شرکت را در سال 1982 ت سیس کرد و هدف اولیه او تولید انواعی از بازی‌های رایانه‌ای بود که در خانه می‌توان با آن‌ها بازی کرد. ای‌ای در اواخر دهه 80 به بهبود و توسعه حوزه کاری خود در زمینه بازی‌های رایانه‌ای پرداخت و با جذب چندین چهره مبتکر، موفق به رشد و توسعه بسیار در این زمینه شد. شرکت ای‌ای در سال 2007 رتبه هشتم در فهرست بزرگترین شرکت‌های طراحی نرم‌افزار را به خود اختصاص داد. درآمد سالانه شرکت ای‌ای در مه 2008 به بیش از 4 ٫ 02 میلیارد دلار رسید و این مقدار، رو به افزایش است. موفق‌ترین بازی‌های ای‌ای، بازی‌های ورزشی (که توسط بخش ای‌ای اسپورتز، وابسته به این شرکت تولید می‌شود)، بازی‌های برگرفته از فیلم‌های محبوب و البته بازی‌های معروفی است که این شرکت همواره به ساختن آن‌ها مشغول بوده‌است از جمله این بازی‌ها می‌توان به بازی‌هایی مانند نید فور اسپید، مدال افتخار، سیمز، بتل فیلد و برن اوت اشاره کرد. یک نکته حایز اهمیت در مورد این شرکت این است که در جمع 5 شرکت منفور دنیا قرار دارد.",
34
  "question": "بازی‌های سبک ورزشی شرکت الکترونیک آرتز توسط کدوم قسمت ساخته می‌شه؟",
35
  "answer": "ای‌ای اسپورتز",
36
+ "title": "Example No. 6"
 
 
 
 
 
 
 
 
 
 
 
 
37
  },
38
  {
39
  "context": "کویر یا نمک زار منطقه‌ای است که به دلیل موقعیت جغرافیایی (معمولا ختم رودخانه‌ها در آن) و حرارت شدید آفتاب به نمک‌زار بدل شده باشد. برخی کویرها قبلا دریاچه یا دریاهایی بوده‌اند که در اثر تبخیر آب از آن‌ها به نمک‌زار بدل شده‌اند. کویر مرکزی ایران که دشت کویر نامیده می‌شود، درون خود تعداد زیادی کویر کوچک‌تر، مانند کویر درانجیر، کویر ساغند، کویر بند ریگ را جا داده‌است. با وجود این‌که در بین عامه مردم رایج است که اصطلاح \"کویر\" و \"بیابان\" را به‌جای یکدیگر به‌کار می‌برند ولی بین این دو اصطلاح تفاوت اساسی وجود دارد. بیابان به بخشی از مناطق خشک گفته می‌شود که بارندگی سالانه آن کمتر از 50 میلی‌متر است و ممکن است چند سال در آن باران نبارد و با کم‌آبی و تبخیر شدید مواجه است و پوشش گیاهی آن بسیار ضعیف است. اما کویر به زمین‌های رسی پف‌کرده، با شوری و نمک بسیار شدید گفته می‌شود که گیاهان نمی‌توانند در آن رشد نمایند. در بعضی از کویرها که شوری خاک کمتر است، ممکن است گیاهانی مانند گز که دربرابر املاح نمکی مقاوم است، در آن رشد نماید.",
40
  "question": "بافت گیاهی در کویر چگونه است؟",
41
  "answer": "در بعضی از کویرها که شوری خاک کمتر است، ممکن است گیاهانی مانند گز که دربرابر املاح نمکی مقاوم است، در آن رشد نماید.",
42
+ "title": "Example No. 7"
 
 
 
 
 
 
43
  },
44
  {
45
  "context": "قطب‌نما وسیله‌ای برای تعیین جهت (جهت‌یابی) است. این وسیله با استفاده از میدان مغناطیسی زمین جهت قطب شمال را نشان می‌دهد که در حقیقت شمال مغناطیسی زمین است که با شمال حقیقی مقداری فاصله دارد. زاویه بین شمال حقیقی و شمال مغناطیسی، میل مغناطیسی نامیده می‌شود. امروزه برای تعیین شمال حقیقی از قطب‌نماهای پیشرفته‌تری مانند قطب‌نمای ژیروسکوپی استفاده می‌شود. قطب‌نمایی که از یک آهنربا ساخته شده یعنی قطب‌نمای مغناطیسی جهت را نشان می‌دهد زیرا زمین چون آهنربای بزرگی عمل می‌کند. نیروی آهنربایی زمین قطب‌نما یا سوزن مغناطیسی را به سوی شمال و جنوب می‌کشد. کسی نمی‌داند که چه کسی اول بار قطب‌نما را ساخت. برخی گمان می‌کنند که چینیان نخستین بار قطب‌نما را ساختند برخی دیگر می‌گویند که قطب‌نما در ایتالیا اختراع شده‌است. بعضی از نخستین قطب‌نماها تکه‌های اکسید مغناطیسی آهن بوده‌اند که بر قطعات چوبی یا چوب‌پنبه قرار داشتند و در یک ظرف آب شناور بودند. اکسید مغناطیسی آهن نوعی کانی آهن است یک نام دیگر آن ماگنتیت است. تکه‌های ماگنتیت آهنرباهای طبیعی هستند. پس از آن مردم ساختن آهن‌ربا از فولاد را یادگرفتند و توانستند قطب‌نماهای بهتری بسازند.",
46
  "question": "اکسید مغناطیسی آهن چیه؟",
47
  "answer": "نوعی کانی آهن",
48
+ "title": "Example No. 8"
49
  },
50
  {
51
  "context": "لاستیک طبیعی که لاستیک هندی یا کایوچو نیز نامیده می‌شود، قدیمی‌ترین الاستومر تجاری است که از لاتکس ساخته می‌شود. لاتکس ترشحات داخلی یک درخت گرمسیری به نام درخت لاستیک است. لاتکس در شکل خام خود، نوعی چسب بسیار خوب است و می‌توان با انحلال آن در حلال‌های مناسب، چسب‌های مختلفی تولید کرد. لاتکس در ابتدای تولید، از پلیمرهایی از ترکیب آلی ایزوپرین با ناخالصی‌های جزیی از سایر ترکیبات آلی، به علاوه آب تشکل شده‌است. تایلند، مالزی و اندونزی کشورهای پیشرو در تولید لاستیک هستند. انواع پلی ایزوپرین که به عنوان لاستیک‌های طبیعی استفاده می‌شوند، در دسته الاستومرها طبقه‌بندی می‌شوند. اولین استفاده از لاستیک توسط فرهنگ‌های بومی آمریکای میانه انجام شد. آنها از این لاستیک برای ساخت توپ بازی استفاده می‌کردند. بعدها لاستیک توسط فرهنگ‌های مایا و آزتک مورد استفاده قرار گرفت. آزتک‌ها علاوه بر ساخت توپ، از لاستیک برای اهداف دیگری مانند ساخت ظروف و ضدآب ساختن منسوجات از طریق اشباع آنها با شیره لاتکس استفاده می‌کردند.",
52
  "question": "آمریکای میانه در ابتدا از لاستیک برای تولید چی استفاده می‌کرد؟",
53
  "answer": "توپ بازی",
54
+ "title": "Example No. 9"
 
 
 
 
 
 
55
  },
56
  {
57
  "context": "آتیلا ( 405 453 میلادی) یکی از رهبران قوم هون بود که بزرگ‌ترین امپراتوری را در اروپا، از رود اورال تا دانوب تشکیل داد. در زمان فرمانروایی، وی یکی از مخوف‌ترین دشمنان امپراتوری‌های روم غربی و شرقی بود. رومیان به او لقب تازیانه خداوند داده بودندو به او باج می‌دادند تا کاری به کار رم نداشته باشد. آتیلا در آغاز به ایران حمله کرد و با شکست مواجه شد. حمله‌ای که او در سال 441 میلادی به امپراتوری بیزانس کرد باعث شد تا تصمیم به حملات بیشتری به سوی غرب بگیرد. وی در اروپا شهرهای بسیاری را نابود و غارت کرد.سرانجام، در نبرد دشت کاتالانی‌ها، در مقابل فلاویوس آییتیوس شکست خورد. در این جنگ، رومی‌ها و آلانی‌ها به مصاف با هون‌ها رفتند.هون‌ها در ناحیه بین رود ولگا و دشت‌های مجارستان می‌زیستند، از آغاز سده پنجم به تاخت و تازهای فراوان و پرسودی در حوالی رود دانوب دست زدند، بنابراین، در حدود 445 تا 440 میلادی، دربار آتیلا به تجمل و زیبایی آراسته بود، شماره اسیرانی که می‌گرفتند بسیار بود، هر دو زبان یونانی و لاتین در دربار تکلم می‌شد، و دبیران رومی‌تبار رویدادهای خارجی را همواره به آگاهی خان می‌رساندند، آتیلا، زرد رنگتر از بیشتر افراد قومش بود،",
58
  "question": "رومی‌ها چه لقبی به اتیلا داده بودند؟",
59
  "answer": "تازیانه خداوند",
60
+ "title": "Example No. 10"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
61
  },
62
  {
63
  "context": "ماده سوختنی ماده‌ای است که در اثر تغییرات (معمولا شیمیایی) تولید انرژی مفید می‌کند که بعدا می‌تواند تبدیل به انرژی مکانیکی شود. این تغییرات معمولا با سوختن (یعنی ترکیب با اکسیژن) همراه است. فرایندهای مورد استفاده برای تبدیل سوخت به انرژی عبارتند از: واکنش‌های شیمیایی مختلف و گرمازا، واکنش‌های هسته‌ای مانند شکافت هسته‌ای یا گداخت هسته‌ای. هیدروکربن‌ها تا حد زیادی شایع‌ترین منبع سوخت مورد استفاده توسط انسان است، اما در بسیاری از موارد فلزات رادیو اکتیو نیز استفاده می‌شوند. اولین استفاده از سوخت توسط بشر ، احتراق و سوزاندن تکه‌های چوب در حدود 2 میلیون سال پیش توسط انسان راست قامت بود . به صورت کلی در طول تاریخ زندگی بشر که تا به حال با آن آشنا شده‌ایم ، تنها سوخت هایی که بیشترین استفاده را داشته است از گیاهان و یا چربی حیوانات بدست می‌آمده است و مورد استفاده انسان قرار گرفته است . انسان‌ها از 6000 سال قبل از میلاد مسیح برای ذوب آهن از زغال چوب و مشتقات چوب استفاده میکردند. بعد‌ها این سوخت‌ها جای خودشان را با کک عوض کردند . به دلیل اینکه در حوالی قرن 18 جنگل‌های اروپا در حال نابودی بودند.",
64
  "question": "سوخت چجوری انرژی قابل استفاده تولید می‌کنه؟",
65
  "answer": "در اثر تغییرات",
66
+ "title": "Example No. 11"
 
 
 
 
 
 
 
 
 
 
 
 
67
  },
68
  {
69
  "context": "ژرمن شپرد یا سگ چوپان آلمانی یکی از نژادهای سگ است. سگ چوپان آلمانی یکی از نژادهای اصیل آلمانی است که برای نخستین بار در سال 1899 ثبت گردید. سگی باهوش، شجاع و مناسب برای کارهای مختلف از جمله گله داری، نگهبانی، راهنمای نابینایان، همراه خانواده، و جستجو و نجات است. قد استاندارد تا جدوگاه در نرها 60 تا 65 سانتی‌متر و در ماده‌ها 55 تا 60 سانتی‌متر است. طول عمر از 9 تا 13 سال است. این نژاد را اکثر افراد به دلیل استفاده در فیلم‌هایی نظیر رکس می‌شناسند و همچنین این سگ حضور موثری در صحنه‌های امدادی دارد. در خاورمیانه دسته‌هایی از شپردهای پلاس فراوان هستند اما نژاد ژرمن شپرد بیشتر در اروپا زندگی دیده شده‌است. مهمترین ویژگی در این نژاد رفتارهای اشرافی، شهامت و توانایی آموختن رفتارها و فعالیت‌های اختصاصی است. نخستین ویژگی یک جرمن شپرد خوب، قدرت، چالاکی، عضلات مناسب و هوشیاری است. رنگ در سگهای ژرمن شپرد متفاوت است و تقریبا اکثر رنگها قابل قبول هستند. با این وجود رنگهای خیلی کم رنگ یا سفید یک دست قابل قبول نمی‌باشد.",
70
  "question": "عمر سگ ژرمن شپرد چند ساله؟",
71
  "answer": "9 تا 13 سال",
72
+ "title": "Example No. 12"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
73
  }
74
  ]
normalizer.py CHANGED
@@ -32,11 +32,11 @@ def normalize(text, zwnj="\u200c", tokenized=False):
32
  text = text.replace('ـ', '')
33
  text = normalizer.normalize(text)
34
 
35
- if len(dictionary.characters) > 0:
36
- text = multiple_replace(text, dictionary.characters)
37
-
38
- if len(dictionary.words_map) > 0:
39
- text = multiple_replace(text, dictionary.words_map)
40
 
41
  text = text.translate(ar2fa_digits)
42
  text = text.translate(fa2en_digits)
@@ -51,14 +51,14 @@ def normalize(text, zwnj="\u200c", tokenized=False):
51
  text = LATIN_REGEX.sub(r" \1 ", text)
52
 
53
  # Allow only english and persian characters
54
- text = re.sub(PERSIAN_REGEX, " ", text)
55
 
56
  text = text.replace(f" {zwnj} ", f"{zwnj}")
57
  text = text.replace(f"{zwnj} ", f"{zwnj}")
58
  text = text.replace(f" {zwnj}", f"{zwnj}")
59
 
60
- if len(dictionary.special_tokens) > 0:
61
- text = multiple_replace(text, dictionary.special_tokens)
62
 
63
  tokens = []
64
  for token in text.split():
 
32
  text = text.replace('ـ', '')
33
  text = normalizer.normalize(text)
34
 
35
+ # if len(dictionary.characters) > 0:
36
+ # text = multiple_replace(text, dictionary.characters)
37
+ #
38
+ # if len(dictionary.words_map) > 0:
39
+ # text = multiple_replace(text, dictionary.words_map)
40
 
41
  text = text.translate(ar2fa_digits)
42
  text = text.translate(fa2en_digits)
 
51
  text = LATIN_REGEX.sub(r" \1 ", text)
52
 
53
  # Allow only english and persian characters
54
+ # text = re.sub(PERSIAN_REGEX, " ", text)
55
 
56
  text = text.replace(f" {zwnj} ", f"{zwnj}")
57
  text = text.replace(f"{zwnj} ", f"{zwnj}")
58
  text = text.replace(f" {zwnj}", f"{zwnj}")
59
 
60
+ # if len(dictionary.special_tokens) > 0:
61
+ # text = multiple_replace(text, dictionary.special_tokens)
62
 
63
  tokens = []
64
  for token in text.split():