Hello gpt2-qa

.gitignore

@@ -0,0 +1,886 @@
+### Python template
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+share/python-wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.nox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.py,cover
+.hypothesis/
+.pytest_cache/
+cover/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+db.sqlite3-journal
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+.pybuilder/
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# pyenv
+#   For a library or package, you might want to ignore these files since the code is
+#   intended to run in multiple environments; otherwise, check them in:
+# .python-version
+
+# pipenv
+#   According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
+#   However, in case of collaboration, if having platform-specific dependencies or dependencies
+#   having no cross-platform support, pipenv may install dependencies that don't work, or not
+#   install all needed dependencies.
+#Pipfile.lock
+
+# PEP 582; used by e.g. github.com/David-OConnor/pyflow
+__pypackages__/
+
+# Celery stuff
+celerybeat-schedule
+celerybeat.pid
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre/
+
+# pytype static type analyzer
+.pytype/
+
+# Cython debug symbols
+cython_debug/
+
+### VisualStudio template
+## Ignore Visual Studio temporary files, build results, and
+## files generated by popular Visual Studio add-ons.
+##
+## Get latest from https://github.com/github/gitignore/blob/master/VisualStudio.gitignore
+
+# User-specific files
+*.rsuser
+*.suo
+*.user
+*.userosscache
+*.sln.docstates
+
+# User-specific files (MonoDevelop/Xamarin Studio)
+*.userprefs
+
+# Mono auto generated files
+mono_crash.*
+
+# Build results
+[Dd]ebug/
+[Dd]ebugPublic/
+[Rr]elease/
+[Rr]eleases/
+x64/
+x86/
+[Ww][Ii][Nn]32/
+[Aa][Rr][Mm]/
+[Aa][Rr][Mm]64/
+bld/
+[Bb]in/
+[Oo]bj/
+[Ll]og/
+[Ll]ogs/
+
+# Visual Studio 2015/2017 cache/options directory
+.vs/
+# Uncomment if you have tasks that create the project's static files in wwwroot
+#wwwroot/
+
+# Visual Studio 2017 auto generated files
+Generated\ Files/
+
+# MSTest test Results
+[Tt]est[Rr]esult*/
+[Bb]uild[Ll]og.*
+
+# NUnit
+*.VisualState.xml
+TestResult.xml
+nunit-*.xml
+
+# Build Results of an ATL Project
+[Dd]ebugPS/
+[Rr]eleasePS/
+dlldata.c
+
+# Benchmark Results
+BenchmarkDotNet.Artifacts/
+
+# .NET Core
+project.lock.json
+project.fragment.lock.json
+artifacts/
+
+# ASP.NET Scaffolding
+ScaffoldingReadMe.txt
+
+# StyleCop
+StyleCopReport.xml
+
+# Files built by Visual Studio
+*_i.c
+*_p.c
+*_h.h
+*.ilk
+*.meta
+*.obj
+*.iobj
+*.pch
+*.pdb
+*.ipdb
+*.pgc
+*.pgd
+*.rsp
+*.sbr
+*.tlb
+*.tli
+*.tlh
+*.tmp
+*.tmp_proj
+*_wpftmp.csproj
+*.log
+*.vspscc
+*.vssscc
+.builds
+*.pidb
+*.svclog
+*.scc
+
+# Chutzpah Test files
+_Chutzpah*
+
+# Visual C++ cache files
+ipch/
+*.aps
+*.ncb
+*.opendb
+*.opensdf
+*.sdf
+*.cachefile
+*.VC.db
+*.VC.VC.opendb
+
+# Visual Studio profiler
+*.psess
+*.vsp
+*.vspx
+*.sap
+
+# Visual Studio Trace Files
+*.e2e
+
+# TFS 2012 Local Workspace
+$tf/
+
+# Guidance Automation Toolkit
+*.gpState
+
+# ReSharper is a .NET coding add-in
+_ReSharper*/
+*.[Rr]e[Ss]harper
+*.DotSettings.user
+
+# TeamCity is a build add-in
+_TeamCity*
+
+# DotCover is a Code Coverage Tool
+*.dotCover
+
+# AxoCover is a Code Coverage Tool
+.axoCover/*
+!.axoCover/settings.json
+
+# Coverlet is a free, cross platform Code Coverage Tool
+coverage*.json
+coverage*.xml
+coverage*.info
+
+# Visual Studio code coverage results
+*.coverage
+*.coveragexml
+
+# NCrunch
+_NCrunch_*
+.*crunch*.local.xml
+nCrunchTemp_*
+
+# MightyMoose
+*.mm.*
+AutoTest.Net/
+
+# Web workbench (sass)
+.sass-cache/
+
+# Installshield output folder
+[Ee]xpress/
+
+# DocProject is a documentation generator add-in
+DocProject/buildhelp/
+DocProject/Help/*.HxT
+DocProject/Help/*.HxC
+DocProject/Help/*.hhc
+DocProject/Help/*.hhk
+DocProject/Help/*.hhp
+DocProject/Help/Html2
+DocProject/Help/html
+
+# Click-Once directory
+publish/
+
+# Publish Web Output
+*.[Pp]ublish.xml
+*.azurePubxml
+# Note: Comment the next line if you want to checkin your web deploy settings,
+# but database connection strings (with potential passwords) will be unencrypted
+*.pubxml
+*.publishproj
+
+# Microsoft Azure Web App publish settings. Comment the next line if you want to
+# checkin your Azure Web App publish settings, but sensitive information contained
+# in these scripts will be unencrypted
+PublishScripts/
+
+# NuGet Packages
+*.nupkg
+# NuGet Symbol Packages
+*.snupkg
+# The packages folder can be ignored because of Package Restore
+**/[Pp]ackages/*
+# except build/, which is used as an MSBuild target.
+!**/[Pp]ackages/build/
+# Uncomment if necessary however generally it will be regenerated when needed
+#!**/[Pp]ackages/repositories.config
+# NuGet v3's project.json files produces more ignorable files
+*.nuget.props
+*.nuget.targets
+
+# Microsoft Azure Build Output
+csx/
+*.build.csdef
+
+# Microsoft Azure Emulator
+ecf/
+rcf/
+
+# Windows Store app package directories and files
+AppPackages/
+BundleArtifacts/
+Package.StoreAssociation.xml
+_pkginfo.txt
+*.appx
+*.appxbundle
+*.appxupload
+
+# Visual Studio cache files
+# files ending in .cache can be ignored
+*.[Cc]ache
+# but keep track of directories ending in .cache
+!?*.[Cc]ache/
+
+# Others
+ClientBin/
+~$*
+*~
+*.dbmdl
+*.dbproj.schemaview
+*.jfm
+*.pfx
+*.publishsettings
+orleans.codegen.cs
+
+# Including strong name files can present a security risk
+# (https://github.com/github/gitignore/pull/2483#issue-259490424)
+#*.snk
+
+# Since there are multiple workflows, uncomment next line to ignore bower_components
+# (https://github.com/github/gitignore/pull/1529#issuecomment-104372622)
+#bower_components/
+
+# RIA/Silverlight projects
+Generated_Code/
+
+# Backup & report files from converting an old project file
+# to a newer Visual Studio version. Backup files are not needed,
+# because we have git ;-)
+_UpgradeReport_Files/
+Backup*/
+UpgradeLog*.XML
+UpgradeLog*.htm
+ServiceFabricBackup/
+*.rptproj.bak
+
+# SQL Server files
+*.mdf
+*.ldf
+*.ndf
+
+# Business Intelligence projects
+*.rdl.data
+*.bim.layout
+*.bim_*.settings
+*.rptproj.rsuser
+*- [Bb]ackup.rdl
+*- [Bb]ackup ([0-9]).rdl
+*- [Bb]ackup ([0-9][0-9]).rdl
+
+# Microsoft Fakes
+FakesAssemblies/
+
+# GhostDoc plugin setting file
+*.GhostDoc.xml
+
+# Node.js Tools for Visual Studio
+.ntvs_analysis.dat
+node_modules/
+
+# Visual Studio 6 build log
+*.plg
+
+# Visual Studio 6 workspace options file
+*.opt
+
+# Visual Studio 6 auto-generated workspace file (contains which files were open etc.)
+*.vbw
+
+# Visual Studio LightSwitch build output
+**/*.HTMLClient/GeneratedArtifacts
+**/*.DesktopClient/GeneratedArtifacts
+**/*.DesktopClient/ModelManifest.xml
+**/*.Server/GeneratedArtifacts
+**/*.Server/ModelManifest.xml
+_Pvt_Extensions
+
+# Paket dependency manager
+.paket/paket.exe
+paket-files/
+
+# FAKE - F# Make
+.fake/
+
+# CodeRush personal settings
+.cr/personal
+
+# Python Tools for Visual Studio (PTVS)
+__pycache__/
+*.pyc
+
+# Cake - Uncomment if you are using it
+# tools/**
+# !tools/packages.config
+
+# Tabs Studio
+*.tss
+
+# Telerik's JustMock configuration file
+*.jmconfig
+
+# BizTalk build output
+*.btp.cs
+*.btm.cs
+*.odx.cs
+*.xsd.cs
+
+# OpenCover UI analysis results
+OpenCover/
+
+# Azure Stream Analytics local run output
+ASALocalRun/
+
+# MSBuild Binary and Structured Log
+*.binlog
+
+# NVidia Nsight GPU debugger configuration file
+*.nvuser
+
+# MFractors (Xamarin productivity tool) working folder
+.mfractor/
+
+# Local History for Visual Studio
+.localhistory/
+
+# BeatPulse healthcheck temp database
+healthchecksdb
+
+# Backup folder for Package Reference Convert tool in Visual Studio 2017
+MigrationBackup/
+
+# Ionide (cross platform F# VS Code tools) working folder
+.ionide/
+
+# Fody - auto-generated XML schema
+FodyWeavers.xsd
+
+### Eclipse template
+.metadata
+bin/
+tmp/
+*.tmp
+*.bak
+*.swp
+*~.nib
+local.properties
+.settings/
+.loadpath
+.recommenders
+
+# External tool builders
+.externalToolBuilders/
+
+# Locally stored "Eclipse launch configurations"
+*.launch
+
+# PyDev specific (Python IDE for Eclipse)
+*.pydevproject
+
+# CDT-specific (C/C++ Development Tooling)
+.cproject
+
+# CDT- autotools
+.autotools
+
+# Java annotation processor (APT)
+.factorypath
+
+# PDT-specific (PHP Development Tools)
+.buildpath
+
+# sbteclipse plugin
+.target
+
+# Tern plugin
+.tern-project
+
+# TeXlipse plugin
+.texlipse
+
+# STS (Spring Tool Suite)
+.springBeans
+
+# Code Recommenders
+.recommenders/
+
+# Annotation Processing
+.apt_generated/
+.apt_generated_test/
+
+# Scala IDE specific (Scala & Java development for Eclipse)
+.cache-main
+.scala_dependencies
+.worksheet
+
+# Uncomment this line if you wish to ignore the project description file.
+# Typically, this file would be tracked if it contains build/dependency configurations:
+#.project
+
+### VirtualEnv template
+# Virtualenv
+# http://iamzed.com/2009/05/07/a-primer-on-virtualenv/
+.Python
+[Bb]in
+[Ii]nclude
+[Ll]ib
+[Ll]ib64
+[Ll]ocal
+[Ss]cripts
+pyvenv.cfg
+.venv
+pip-selfcheck.json
+
+### TeX template
+## Core latex/pdflatex auxiliary files:
+*.aux
+*.lof
+*.log
+*.lot
+*.fls
+*.out
+*.toc
+*.fmt
+*.fot
+*.cb
+*.cb2
+.*.lb
+
+## Intermediate documents:
+*.dvi
+*.xdv
+*-converted-to.*
+# these rules might exclude image files for figures etc.
+# *.ps
+# *.eps
+# *.pdf
+
+## Generated if empty string is given at "Please type another file name for output:"
+.pdf
+
+## Bibliography auxiliary files (bibtex/biblatex/biber):
+*.bbl
+*.bcf
+*.blg
+*-blx.aux
+*-blx.bib
+*.run.xml
+
+## Build tool auxiliary files:
+*.fdb_latexmk
+*.synctex
+*.synctex(busy)
+*.synctex.gz
+*.synctex.gz(busy)
+*.pdfsync
+
+## Build tool directories for auxiliary files
+# latexrun
+latex.out/
+
+## Auxiliary and intermediate files from other packages:
+# algorithms
+*.alg
+*.loa
+
+# achemso
+acs-*.bib
+
+# amsthm
+*.thm
+
+# beamer
+*.nav
+*.pre
+*.snm
+*.vrb
+
+# changes
+*.soc
+
+# comment
+*.cut
+
+# cprotect
+*.cpt
+
+# elsarticle (documentclass of Elsevier journals)
+*.spl
+
+# endnotes
+*.ent
+
+# fixme
+*.lox
+
+# feynmf/feynmp
+*.mf
+*.mp
+*.t[1-9]
+*.t[1-9][0-9]
+*.tfm
+
+#(r)(e)ledmac/(r)(e)ledpar
+*.end
+*.?end
+*.[1-9]
+*.[1-9][0-9]
+*.[1-9][0-9][0-9]
+*.[1-9]R
+*.[1-9][0-9]R
+*.[1-9][0-9][0-9]R
+*.eledsec[1-9]
+*.eledsec[1-9]R
+*.eledsec[1-9][0-9]
+*.eledsec[1-9][0-9]R
+*.eledsec[1-9][0-9][0-9]
+*.eledsec[1-9][0-9][0-9]R
+
+# glossaries
+*.acn
+*.acr
+*.glg
+*.glo
+*.gls
+*.glsdefs
+*.lzo
+*.lzs
+
+# uncomment this for glossaries-extra (will ignore makeindex's style files!)
+# *.ist
+
+# gnuplottex
+*-gnuplottex-*
+
+# gregoriotex
+*.gaux
+*.gtex
+
+# htlatex
+*.4ct
+*.4tc
+*.idv
+*.lg
+*.trc
+*.xref
+
+# hyperref
+*.brf
+
+# knitr
+*-concordance.tex
+# TODO Uncomment the next line if you use knitr and want to ignore its generated tikz files
+# *.tikz
+*-tikzDictionary
+
+# listings
+*.lol
+
+# luatexja-ruby
+*.ltjruby
+
+# makeidx
+*.idx
+*.ilg
+*.ind
+
+# minitoc
+*.maf
+*.mlf
+*.mlt
+*.mtc[0-9]*
+*.slf[0-9]*
+*.slt[0-9]*
+*.stc[0-9]*
+
+# minted
+_minted*
+*.pyg
+
+# morewrites
+*.mw
+
+# nomencl
+*.nlg
+*.nlo
+*.nls
+
+# pax
+*.pax
+
+# pdfpcnotes
+*.pdfpc
+
+# sagetex
+*.sagetex.sage
+*.sagetex.py
+*.sagetex.scmd
+
+# scrwfile
+*.wrt
+
+# sympy
+*.sout
+*.sympy
+sympy-plots-for-*.tex/
+
+# pdfcomment
+*.upa
+*.upb
+
+# pythontex
+*.pytxcode
+pythontex-files-*/
+
+# tcolorbox
+*.listing
+
+# thmtools
+*.loe
+
+# TikZ & PGF
+*.dpth
+*.md5
+*.auxlock
+
+# todonotes
+*.tdo
+
+# vhistory
+*.hst
+*.ver
+
+# easy-todo
+*.lod
+
+# xcolor
+*.xcp
+
+# xmpincl
+*.xmpi
+
+# xindy
+*.xdy
+
+# xypic precompiled matrices and outlines
+*.xyc
+*.xyd
+
+# endfloat
+*.ttt
+*.fff
+
+# Latexian
+TSWLatexianTemp*
+
+## Editors:
+# WinEdt
+*.bak
+*.sav
+
+# Texpad
+.texpadtmp
+
+# LyX
+*.lyx~
+
+# Kile
+*.backup
+
+# gummi
+.*.swp
+
+# KBibTeX
+*~[0-9]*
+
+# TeXnicCenter
+*.tps
+
+# auto folder when using emacs and auctex
+./auto/*
+*.el
+
+# expex forward references with \gathertags
+*-tags.tex
+
+# standalone packages
+*.sta
+
+# Makeindex log files
+*.lpz
+
+# xwatermark package
+*.xwm
+
+# REVTeX puts footnotes in the bibliography by default, unless the nofootinbib
+# option is specified. Footnotes are the stored in a file with suffix Notes.bib.
+# Uncomment the next line to have this generated file ignored.
+#*Notes.bib
+
+### JupyterNotebooks template
+# gitignore template for Jupyter Notebooks
+# website: http://jupyter.org/
+
+.ipynb_checkpoints
+*/.ipynb_checkpoints/*
+
+# IPython
+profile_default/
+ipython_config.py
+
+# Remove previous ipynb_checkpoints
+#   git rm -r .ipynb_checkpoints/
+
+# CUSTOM
+.idea
+tmp
+*.tmp.py
+.DS_store
+.DS_Store

README.md

@@ -1,33 +1,17 @@
 ---
-title: Gpt2 Persian Qa
-emoji: 🌍
-colorFrom: purple
-colorTo: yellow
+title: GPT2 QA - Persian
+emoji: ⁉️
+colorFrom: green
+colorTo: green
 sdk: streamlit
 app_file: app.py
 pinned: false
 ---
 
-# Configuration
+# Streamlit demo for GPT2 QA - Persian
 
-`title`: _string_  
-Display title for the Space
+### Launch demo:
 
-`emoji`: _string_  
-Space emoji (emoji-only character allowed)
-
-`colorFrom`: _string_  
-Color for Thumbnail gradient (red, yellow, green, blue, indigo, purple, pink, gray)
-
-`colorTo`: _string_  
-Color for Thumbnail gradient (red, yellow, green, blue, indigo, purple, pink, gray)
-
-`sdk`: _string_  
-Can be either `gradio` or `streamlit`
-
-`app_file`: _string_  
-Path to your main application file (which contains either `gradio` or `streamlit` Python code).  
-Path is relative to the root of the repository.
-
-`pinned`: _boolean_  
-Whether the Space stays on top of your list.
+```
+streamlit run app.py
+```

app.py

@@ -0,0 +1,192 @@
+import streamlit as st
+import torch
+from transformers import pipeline, set_seed
+from transformers import AutoTokenizer
+from transformers import GPT2LMHeadModel
+from mtranslate import translate
+import random
+
+import meta
+from normalizer import normalize
+from utils import (
+    remote_css,
+    local_css,
+    load_json
+)
+
+EXAMPLES = load_json("examples.json")
+CK = "متن"
+QK = "پرسش"
+AK = "پاسخ"
+
+
+class TextGeneration:
+    def __init__(self):
+        self.debug = False
+        self.dummy_output = "مخلوطی از ایتالیایی و انگلیسی"
+        self.tokenizer = None
+        self.model = None
+        self.model_name_or_path = "m3hrdadfi/gpt2-persian-qa"
+        self.length_margin = 100
+        set_seed(42)
+
+    def load(self):
+        if not self.debug:
+            self.tokenizer = AutoTokenizer.from_pretrained(self.model_name_or_path)
+            self.model = GPT2LMHeadModel.from_pretrained(self.model_name_or_path)
+
+    def generate(self, prompt, generation_kwargs):
+
+        if not self.debug:
+            input_ids = self.tokenizer([prompt], return_tensors="pt")["input_ids"]
+            max_length = len(input_ids[0]) + self.length_margin
+            generation_kwargs["max_length"] = max_length
+
+            generated = self.model.generate(
+                input_ids,
+                **generation_kwargs,
+            )[0]
+
+            answer = self.tokenizer.decode(generated, skip_special_tokens=True)
+            found = answer.find(f"{AK}: ")
+            if not found:
+                return ""
+
+            answer = [a.strip() for a in answer[found:].split(f"{AK}: ") if a.strip()]
+            answer = answer[0] if len(answer) > 0 else ""
+            return answer
+
+        return self.dummy_output
+
+
+@st.cache(allow_output_mutation=True)
+def load_text_generator():
+    generator = TextGeneration()
+    generator.load()
+    return generator
+
+
+def main():
+    st.set_page_config(
+        page_title="GPT2 QA - Persian",
+        page_icon="⁉️",
+        layout="wide",
+        initial_sidebar_state="expanded"
+    )
+    remote_css("https://cdn.jsdelivr.net/gh/rastikerdar/vazir-font/dist/font-face.css")
+    local_css("assets/rtl.css")
+    generator = load_text_generator()
+
+    st.sidebar.markdown(meta.SIDEBAR_INFO)
+    num_beams = st.sidebar.slider(
+        label='Number of Beam',
+        help="Number of beams for beam search",
+        min_value=4,
+        max_value=15,
+        value=5,
+        step=1
+    )
+    repetition_penalty = st.sidebar.slider(
+        label='Repetition Penalty',
+        help="The parameter for repetition penalty",
+        min_value=1.0,
+        max_value=10.0,
+        value=1.0,
+        step=0.1
+    )
+    length_penalty = st.sidebar.slider(
+        label='Length Penalty',
+        help="Exponential penalty to the length",
+        min_value=1.0,
+        max_value=10.0,
+        value=1.0,
+        step=0.1
+    )
+    early_stopping = st.sidebar.selectbox(
+        label='Early Stopping ?',
+        options=(True, False),
+        help="Whether to stop the beam search when at least num_beams sentences are finished per batch or not",
+    )
+    translated = st.sidebar.selectbox(
+        label='Translation ?',
+        options=(True, False),
+        help="Will translate the result in English",
+    )
+    generation_kwargs = {
+        "num_beams": num_beams,
+        "early_stopping": early_stopping,
+        "repetition_penalty": repetition_penalty,
+        "length_penalty": length_penalty,
+    }
+
+    st.markdown(meta.HEADER_INFO)
+    prompts = [e["title"] for e in EXAMPLES] + ["Custom"]
+    prompt = st.selectbox('Examples', prompts, index=len(prompts) - 1)
+
+    if prompt == "Custom":
+        prompt_box = {
+            "context": meta.C_PROMPT_BOX,
+            "question": meta.Q_PROMPT_BOX,
+            "answer": meta.A_PROMPT_BOX,
+        }
+    else:
+        prompt_box = next(e for e in EXAMPLES if e["title"] == prompt)
+
+    context = st.text_area("Enter context", prompt_box["context"], height=250)
+    question = st.text_area("Enter question", prompt_box["question"], height=100)
+    answer = "پاسخ درست: " + prompt_box["answer"]
+    st.markdown(
+        f'<p class="rtl rtl-box">'
+        f'{answer}'
+        f'<p>',
+        unsafe_allow_html=True
+    )
+    if translated:
+        translated_answer = translate(answer, "en", "fa")
+        st.markdown(
+            f'<p class="ltr">'
+            f'{translated_answer}'
+            f'<p>',
+            unsafe_allow_html=True
+        )
+    generation_kwargs_ph = st.empty()
+
+    if st.button("Find the answer 🔎 "):
+        with st.spinner(text="Searching ..."):
+            generation_kwargs_ph.markdown(", ".join([f"`{k}`: {v}" for k, v in generation_kwargs.items()]))
+            context = normalize(context)
+            question = normalize(question)
+
+            if context and question:
+                text = f"{context} {QK}: {question} {AK}:"
+                generated_answer = generator.generate(text, generation_kwargs)
+                generated_answer = f"{AK}: {generated_answer}".strip()
+                context = f"{CK}: {context}".strip()
+                question = f"{QK}: {question}".strip()
+
+                st.markdown(
+                    f'<p class="rtl rtl-box">'
+                    f'<span class="result-text">{context}<span><br/><br/>'
+                    f'<span class="result-text">{question}<span><br/><br/>'
+                    f'<span class="result-text generated-text">{generated_answer} </span>'
+                    f'</p>',
+                    unsafe_allow_html=True
+                )
+
+                if translated:
+                    translated_context = translate(context, "en", "fa")
+                    translated_question = translate(question, "en", "fa")
+                    translated_generated_answer = translate(generated_answer, "en", "fa")
+
+                    st.markdown(
+                        f'<p class="ltr ltr-box">'
+                        f'<span class="result-text">{translated_context}<span><br/><br/>'
+                        f'<span class="result-text">{translated_question}<span><br/><br/>'
+                        f'<span class="result-text generated-text">{translated_generated_answer}</span>'
+                        f'</p>',
+                        unsafe_allow_html=True
+                    )
+
+
+if __name__ == '__main__':
+    main()

assets/rtl.css

@@ -0,0 +1,22 @@
+.rtl,
+textarea {
+    font-family: Vazir !important;
+    text-align: right;
+    direction: rtl !important;
+}
+.rtl-box {
+    border-bottom: 1px solid #ddd;
+    padding-bottom: 20px;
+}
+.ltr {
+    text-align: left;
+    direction: ltr !important;
+}
+
+span.result-text {
+    padding: 3px 3px;
+    line-height: 32px;
+}
+span.generated-text {
+    background-color: rgb(118 200 147 / 13%);
+}

dictionary.py

@@ -0,0 +1,139 @@
+characters = {
+    "ك": "ک",
+    "دِ": "د",
+    "بِ": "ب",
+    "زِ": "ز",
+    "ذِ": "ذ",
+    "شِ": "ش",
+    "سِ": "س",
+    "ى": "ی",
+    "ي": "ی",
+    "ؤ": "و",
+    "ے": "ی",
+    "ۀ": "ه",
+    "ﭘ": "پ",
+    "ﮐ": "ک",
+    "ﯽ": "ی",
+    "ﺎ": "ا",
+    "ﺑ": "ب",
+    "ﺘ": "ت",
+    "ﺧ": "خ",
+    "ﺩ": "د",
+    "ﺱ": "س",
+    "ﻀ": "ض",
+    "ﻌ": "ع",
+    "ﻟ": "ل",
+    "ﻡ": "م",
+    "ﻢ": "م",
+    "ﻪ": "ه",
+    "ﻮ": "و",
+    "ﺍ": "ا",
+    "ة": "ه",
+    "ﯾ": "ی",
+    "ﯿ": "ی",
+    "ﺒ": "ب",
+    "ﺖ": "ت",
+    "ﺪ": "د",
+    "ﺮ": "ر",
+    "ﺴ": "س",
+    "ﺷ": "ش",
+    "ﺸ": "ش",
+    "ﻋ": "ع",
+    "ﻤ": "م",
+    "ﻥ": "ن",
+    "ﻧ": "ن",
+    "ﻭ": "و",
+    "ﺭ": "ر",
+    "ﮔ": "گ",
+    "إ": "ا",
+    "ٕ": " ",
+    "ھ": "ه",
+    "...": ".",
+    "…": ".",
+    "-": " - ",
+    "هٔ": "ه",
+    "ﻯ": "ی",
+    "ﻛ": "ک",
+    "ﭼ": "چ",
+    "ﺓ": "ه",
+    "ﻴ": "ی",
+    "ﻊ": "ع",
+    "ﮬ": "ه",
+    "ﺟ": "ج",
+    "ﺳ": "س",
+    "ﻦ": "ن",
+    "ﺬ": "ذ",
+    "ﺋ": "ئ",
+    "ﷲ": "لله",
+    "ﺞ": "ج",
+    "ﺙ": "ث",
+    "ﻗ": "ق",
+    "ﮪ": "ه",
+    "ﺰ": "ز",
+    "ﯼ": "ی",
+    "ٺ": "ت",
+    "ﺻ": "ص",
+    "ﻂ": "ط",
+    "ﻣ": "م",
+    "ﻈ": "ظ",
+    "ﺐ": "ب",
+    "ﻍ": "غ",
+    "ݸ": "و",
+    "ﻨ": "ن",
+    "ﻝ": "ل",
+    "ﻩ": "ه",
+    "ﻲ": "ی",
+    "ﻐ": "غ",
+    "ﺲ": "س",
+    "ﺁ": "آ",
+    "ڔ": "ر",
+    "ﺫ": "ذ",
+    "ﭻ": "چ",
+    "ﺠ": "ج",
+    "ﯙ": "و",
+    "ﮏ": "ک",
+    "ﺣ": "ح",
+    "ﺝ": "ج",
+    "ﺼ": "ص",
+    "ﻳ": "ی",
+    "ﻘ": "ق",
+    "ﺨ": "خ",
+    "ﻔ": "ف",
+    "ﻎ": "غ",
+    "ئ": "ی",
+    "ﻓ": "ف",
+    "ﻕ": "ق",
+    "ﮋ": "ژ",
+    "ﺗ": "ت",
+    "ﻁ": "ط",
+    "ﺯ": "ز",
+    "ﮕ": "گ",
+    "ﺌ": "ئ",
+    "ﺵ": "ش",
+    "ۮ": "د",
+    "ﻫ": "ه",
+    "ﻬ": "ه",
+    "ﻏ": "غ",
+    "ﻰ": "ی",
+    "﷼": "ریال",
+    "ﺿ": "ض",
+    "ﺛ": "ث",
+    "ݐ": "پ",
+    "ﺏ": "ب",
+    "ﭙ": "پ",
+    "ﭽ": "چ",
+    "ﺜ": "ث",
+    "ﻃ": "ط",
+    "ۂ": "ه",
+    "ﻑ": "ف",
+    "ﺕ": "ت",
+    "ﻞ": "ل",
+}
+
+special_tokens = {}
+
+words_map = {
+    "Leave a comment": "",
+    "[…]": "",
+    "[.]": "",
+}

examples.json

@@ -0,0 +1,152 @@
+[
+  {
+    "context": "خوب، بد، زشت یک فیلم درژانر وسترن اسپاگتی حماسی است که توسط سرجو لئونه در سال ۱۹۶۶ در ایتالیا ساخته شد. زبانی که بازیگران این فیلم به آن تکلم می‌کنند مخلوطی از ایتالیایی و انگلیسی است. این فیلم سومین (و آخرین) فیلم از سه‌گانهٔ دلار (Dollars Trilogy) سرجو لئونه است. این فیلم در حال حاضر در فهرست ۲۵۰ فیلم برتر تاریخ سینما در وب‌گاه IMDB با امتیاز ۸٫۸ از ۱۰، رتبهٔ هشتم را به خود اختصاص داده‌است و به عنوان بهترین فیلم وسترن تاریخ سینمای جهان شناخته می‌شود. «خوب» (کلینت ایستوود، در فیلم، با نام «بلوندی») و «زشت» (ایلای والاک، در فیلم، با نام «توکو») با هم کار می‌کنند و با شگرد خاصی، به گول زدن کلانترهای مناطق مختلف و پول درآوردن از این راه می‌پردازند. «بد» (لی وان کلیف) آدمکشی حرفه‌ای است که به‌خاطر پول حاضر به انجام هر کاری است. «بد»، که در فیلم او را «اِنجل آیز (اِینجل آیز)» (به انگلیسی: Angel Eyes) صدا می‌کنند. به‌دنبال گنجی است که در طی جنگ‌های داخلی آمریکا، به دست سربازی به نام «جکسون»، که بعدها به «کارسون» نامش را تغییر داده، مخفی شده‌است.",
+    "question": "در فیلم خوب بد زشت شخصیت ها کجایی صحبت می کنند؟",
+    "answer": "مخلوطی از ایتالیایی و انگلیسی",
+    "title": "Example No. 1"
+  },
+  {
+    "context": "چهارشنبه‌سوری یکی از جشن‌های ایرانی است که از غروب آخرین سه‌شنبه ی ماه اسفند، تا پس از نیمه‌شب تا آخرین چهارشنبه ی سال، برگزار می‌شود و برافروختن و پریدن از روی آتش مشخصهٔ اصلی آن است. این جشن، نخستین جشن از مجموعهٔ جشن‌ها و مناسبت‌های نوروزی است که با برافروختن آتش و برخی رفتارهای نمادین دیگر، به‌صورت جمعی در فضای باز برگزار می‌شود. به‌گفتهٔ ابراهیم پورداوود چهارشنبه‌سوری ریشه در گاهنبارِ هَمَسْپَتْمَدَم زرتشتیان و نیز جشن نزول فروهرها دارد که شش روز پیش از فرارسیدن نوروز برگزار می‌شد. احتمال دیگر این است که چهارشنبه‌سوری بازمانده و شکل تحول‌یافته‌ای از جشن سده باشد، که احتمال بعیدی است. علاوه برافروختن آتش، آیین‌های مختلف دیگری نیز در بخش‌های گوناگون ایران در زمان این جشن انجام می‌شوند. برای نمونه، در تبریز، مردم به چهارشنبه‌بازار می‌روند که با چراغ و شمع، به‌طرز زیبایی چراغانی شده‌است. هر خانواده یک آینه، دانه‌های اسفند، و یک کوزه برای سال نو خریداری می‌کنند. همه‌ساله شهروندانی از ایران در اثر انفجارهای ناخوشایند مربوط به این جشن، کشته یا مصدوم می‌شوند.",
+    "question": "نام جشن اخرین شنبه ی سال چیست؟",
+    "answer": "چهارشنبه‌سوری",
+    "title": "Example No. 2"
+  },
+  {
+    "context": "قرارداد کرسنت قراردادی برای فروش روزانه معادل ۵۰۰ میلیون فوت مکعب، گاز ترش میدان سلمان است، که در سال ۱۳۸۱ و در زمان وزارت بیژن نامدار زنگنه در دولت هفتم مابین شرکت کرسنت پترولیوم و شرکت ملی نفت ایران منعقد گردید. مذاکرات اولیه این قرارداد از سال ۱۹۹۷ آغاز شد و در نهایت، سال ۲۰۰۱ (۱۳۸۱) به امضای این تفاهم نامه مشترک انجامید. بر اساس مفاد این قرارداد، مقرر شده بود که از سال ۲۰۰۵ با احداث خط لوله در خلیج فارس، گاز فرآورده نشده میدان سلمان (مخزن مشترک با ابوظبی)، به میزان روزانه ۵۰۰ میلیون فوت مکعب (به قول برخی منابع ۶۰۰ میلیون فوت مکعب) به امارات صادر شود. این قرارداد مطابق قوانین داخلی ایران بسته شده‌ و تنها قرارداد نفتی ایران است که از طرف مقابل خو��، تضمین گرفته‌است. اجرای این پروژه در سال ۱۳۸۴ با دلایل ارائه شده از سوی دیوان محاسبات ایران از جمله تغییر نیافتن بهای گاز صادراتی و ثابت ماندن آن در هفت سال اول اجرای قرارداد متوقف شد. این در حالی است که طبق تعریف حقوقی، دیوان محاسبات ایران، حق دخالت در قراردادها، پیش از آنکه قراردادها اجرایی و مالی شوند را ندارد.",
+    "question": "طرفین قرار داد کرسنت کیا بودن؟",
+    "answer": "کرسنت پترولیوم و شرکت ملی نفت ایران",
+    "title": "Example No. 3"
+  },
+  {
+    "context": "ناف جایی قرار گرفته که در واقع بندناف در داخل رحم در آنجا به شکم جنین وصل بوده‌است. بندناف که جفت را به جنین متصل کرده بعد از تولد از نوزاد جدا می‌شود. برای جدا کردن بند ناف از دو پنس استفاده می‌کنند و بین آن دو را میبرند. پنس دیگری نزدیک شکم نوزاد قرار داده می‌شود که بعد از دو روز برداشته خواهد شد. بندناف باقی‌مانده طی ۱۵ روز خشک شده و می‌افتد و به جای آن اسکاری طبیعی به جای میماند. البته بر خلاف تصور عامه مردم شکل ناف در اثر بریدن بند ناف به وجود نمی‌آید و پیش از این در شکم مادر حالت ناف شکل گرفته‌است. شکل ناف در میان مردم مختلف متفاوت است و اندازه آن بین ۱.۵ تا ۲ سانتی‌متر است. تمام پستانداران جفت‌زیست ناف دارند. ناف در انسان‌ها به سادگی قابل مشاهده‌است.",
+    "question": "بند ناف انسان به کجا وصل است؟\t",
+    "answer": "جفت",
+    "title": "Example No. 4"
+  },
+  {
+    "context": "بیش از ده هزار سال است که انسان‌ها در قارهٔ آمریکا زندگی می‌کنند. قاره آمریکا توسط کریستف کلمب و در سال ۱۴۹۲ کشف شد اما او به اشتباه فکر کرد که آنجا هندوستان است اما مدت‌ها بعد آمریگو وسپوچی اعلام کرد که این قاره جدیدی است. اما تاریخ آمریکا به عنوان یک کشور مستقل به سال ۱۷۸۳ میلادی بازمی‌گردد که در آن آمریکا بر طبق معاهدهٔ پاریس به رسمیت شناخته گردید.",
+    "question": "قاره آمریکا در چه سالی کشف شد؟",
+    "answer": "۱۴۹۲",
+    "title": "Example No. 5"
+  },
+  {
+    "context": "جشنوارهٔ فیلم فجر مهم‌ترین جشنوارهٔ سینمایی ایران است که از سال ۱۳۶۱ تاکنون، در میانهٔ بهمن ماه هر سال در تهران برگزار می‌گردد. تاکنون ۳۹ دوره از این جشنواره برگزار شده‌است که آخرین آن در سال ۱۳۹۹ بوده است. این جشنواره توسط بنیاد سینمایی فارابی و زیر نظر وزارت فرهنگ و ارشاد اسلامی برگزار می‌شود. جشنوارهٔ فیلم فجر، جایگزینی برای جشنوارهٔ بین‌المللی فیلم تهران بود که تا پیش از انقلاب ۱۳۵۷ جمهوری اسلامی ایران، با حمایت دفتر مخصوص فرح پهلوی در ایران برگزار می‌شد و در آن فیلم‌های برگزیده سینمای ایران در کنار آثار سینمای بین‌المللی رقابت می‌کردند. بعد از انقلاب اسلامی ایران، این جشنواره تعطیل شد و بعد از ۴ سال، جشنوارهٔ فیلم فجر، هم‌زمان با روزهای دهه فجر جایگزین آن شد. نخستین دوره‌ی جشنوارهٔ فیلم فجر از ۱۲ تا ۲۲ بهمن سال ۱۳۶۱ به دبیری حسین وخشوری برگزار شد. در بخش جوایز از دوره پنجم به برندگان «لوح زرین» اهدا شد و عنوان «سیمرغ» از هفتمین دوره جشنواره به صورت جدی مطرح گردید که تا امروز ادامه داشته‌است. در حال حاضر «دیپلم افتخار» دیگر جایزه جشنوارهٔ فیلم فجر است.",
+    "question": "جشنواره فیلم فجر در چه بازه ای از سال برگزار می شود؟",
+    "answer": "میانهٔ بهمن ماه هر سال",
+    "title": "Example No. 6"
+  },
+  {
+    "context": "خلیج فارس (شاخاب پارس یا دریای پارس)، نام آبراهی پراهمیت در آسیای غربی و منطقه خاورمیانه است که در امتداد دریای عمان و در میان ایران و شبه‌جزیره عربستان قرار دارد. مساحت خلیج فارس ۲۳۷٬۴۷۳ کیلومتر مربع است، طول آن حدود ۹۰۰ کیلومتر و عرض متوسط آن ۲۵۰ کیلومتر است و پس از خلیج مکزیک و خلیج هادسون سومین خلیج بزرگ جهان بشمار می‌آید. خلیج فارس از شرق از طریق تنگه هرمز و دریای عمان به اقیانوس هند و دریای عرب راه دارد، و از غرب به دلتای رودخانه اروندرود، که حاصل پیوند دو رودخانهٔ دجله و فرات و پیوستن رود کارون به آن است، ختم می‌شود. هشت کشور در اطراف خلیج فارس قرار دارند. در این میان سواحل شمالی خلیج فارس تماماً در جغرافیای سیاسی ایران قرار دارند. به سبب وجود منابع سرشار نفت و گاز در خلیج فارس و سواحل آن، این آبراهه در سطح بین‌المللی، منطقه‌ای مهم و راهبردی بشمار می‌آید. نام تاریخی این خلیج، در زبان‌های گوناگون، ترجمه عبارت خلیج فارس یا دریای پارس بوده‌است. همچنین در تمام سازمان‌های بین‌المللی نام رسمی این خلیج، «خلیج فارس» است اما برخی از کشورهای عربی در دهه‌های اخیر آن را خلیج عربی یا به سادگی، خلیج می‌نامند. سازمان آب‌نگاری بین‌المللی از نام خلیج ایران (خلیج فارس) برای این خلیج استفاده می‌کند.",
+    "question": "ابعاد خلیج فارس کدامند؟",
+    "answer": "مساحت خلیج فارس ۲۳۷٬۴۷۳ کیلومتر مربع است",
+    "title": "Example No. 7"
+  },
+  {
+    "context": "ایستگاه فضایی نوعی سازه است که برای زندگی و کار بشر در فضا طراحی و ساخته شده‌است. تاکنون تنها ایستگاه‌های مدار پایین به مرحلهٔ بهره‌برداری رسیده‌اند که آن‌ها را «ایستگاه مداری» نیز می‌خوانند. تفاوت ایستگاه فضایی با فضاپیماهای دیگر این است که در ایستگاه فضایی امکانات اساسی پیش‌رانی یا فرود بر زمین وجود ندارد؛ در عوض از وسایل نقلیهٔ دیگر برای ترابری (چه از ایستگاه چه به ایستگاه) سود جسته می‌شود. ایستگاه‌های فضایی برای سکونت میان‌مدت طراحی شده‌اند که درازایش می‌تواند چند هفته، چند ماه و حتی چند سال باشد. تنها ایستگاه فضایی‌ای که هم‌اینک مورد استفاده‌است، «ایستگاه فضایی بین‌المللی» است. ایستگاه‌های فضایی پیشین الماز، سری سالیوت، اسکای‌لب و میر بودند. تاریخچهٔ ساخت و توسعهٔ ایستگاه‌های فضایی به زمان جنگ سرد و اوج رقابت‌های فضایی بازمی‌گردد. زمانی‌که راکت ساترن ۵ توسط آمریکا و به دست دکتر ورنر فون براون و گروهش توسعه داده می‌شد، این مهندس آلمانی همواره ایدهٔ ساخت اقامت‌گاهی فضایی را در سر می‌پروراند.",
+    "question": "کدوم ایستگاه فضایی الان استفاده می شه؟",
+    "answer": "ایستگاه فضایی بین‌المللی",
+    "title": "Example No. 8"
+  },
+  {
+    "context": "باشگاه فوتبال رئال مادرید یک باشگاه حرفه‌ای فوتبال است که در مادرید، پایتخت اسپانیا قرار دارد. رئال موفق‌ترین تیم تاریخ فوتبال اسپانیا و موفق‌ترین تیم تاریخ فوتبال اروپا و موفق‌ترین تیم فوتبال سدهٔ ۲۰ میلادی به انتخاب فیفا است. آن‌ها دارای رکورد ۳۴ بار قهرمانی در لالیگا، ۱۹ قهرمانی در کوپا دل ری (جام حذفی)، ۱۰ سوپرکاپ اسپانیا، ۱۳ قهرمانی در لیگ قهرمانان اروپا، ۲ جام یوفا، ۴ سوپرکاپ اروپا و ۴ قهرمانی در جام باشگاه‌های جهان هستند. رئال مادرید رکورددار قهرمانی در لیگ قهرمانان اروپا با ۱۳ قهرمانی و جام باشگاه های جهان با ۴ قهرمانی است. همچنین رئال مادرید برنده بهترین باشگاه قرن از سوی فیفا شده‌است. همچنین کلمهٔ رئال در زبان اسپانیایی، به معنی «سلطن��ی» است، این لقب را شاه آلفونسو سیزدهم در سال ۱۹۲۰ بر این تیم نهاد. همچنین در همان سال، شکل یک تاج نیز بر روی آرم این باشگاه قرار گرفت. رئال مادرید سال‌هاست که در لالیگا، از تیم‌های قدرتمند محسوب می‌شود و رقیب اصلی این تیم نیز، بارسلونا است. از نظر درآمد، رئال مادرید با ۵۵۷ میلیون یورو درآمد در فصل ۱۵–۲۰۱۴ در صدر پردرآمدترین باشگاه‌های فوتبال جهان بوده‌است.",
+    "question": "لقب باشگاه رئال مادرید از کجا میاد؟",
+    "answer": "شاه آلفونسو سیزدهم در سال ۱۹۲۰ بر این تیم نهاد",
+    "title": "Example No. 9"
+  },
+  {
+    "context": "شیره ماده‌ای‌ست که با عصاره‌گیری از یک گیاه یا میوه‌هایی مانند انگور، خرما و توت سیب و معمولاً از طریق جوشاندن با کمک یک حلّال مانند آب یا الکل به دست می‌آید. شیره برخی گیاهان نیز با تیغ زدن یا خراش دادن پوست گیاه به دست می‌آید مانند شیره درخت افرا که از آن شکر تولید می‌شود و نیز شیره درختان کائوچوکی که در صنعت لاستیک‌سازی کاربرد دارند. تریاک نیز در واقع شیره گرز خشخاش است که با خراش دادن از گیاه خارج شده و در مجاورت هوا سفت می‌شود. شیره انگور ماده‌ای است بسیار شیرین که از آب انگور به دست می‌آید. شیره انگور فرایند تولید متفاوتی با شیره توت و خرما دارد ابتدا آب انگور را از انگور جدا می‌کنند سپس نوعی خاک قلیایی به آن اضافه می‌کنند که باعث می‌شود تفاله انگور به همراه خاک ته‌نشین شود بعد آب انگور را داخل دیگ‌هایی ریخته و می‌جوشانند تا به رنگ طلایی نزدیک به سرخ درآید. طبع برخی از شیره ها گرم و برخی سرد می باشد. دوشاب را معمولاً از انگور کشمشی سفید که مزه‌ای شیرین دارد بدست می‌آورند. دوشاب از کشمش خشک تهیه می ‌شود ولی شیره انگور از انگور خیس پخته می ‌شود. شیرهٔ پرورده محلولی غلیظ حاوی قندها و پروتئین‌ها و مواد معدنی است که در آوند آبکش گیاهان جریان دارد.",
+    "question": "شیره انگور چیه؟",
+    "answer": "شیره ماده‌ای‌ست که با عصاره‌گیری از یک گیاه یا میوه‌هایی مانند انگور، خرما و توت سیب و معمولاً از طریق جوشاندن با کمک یک حلّال مانند آب یا الکل به دست می‌آید.",
+    "title": "Example No. 10"
+  },
+  {
+    "context": "گلوله، مرمی یا پرّانه جسمی است که از سلاح گرم یا سلاح بادی شلیک می‌شود. گلوله معمولاً از فلز (بیشتر سرب) ساخته می‌شود و معمولاً فاقد مواد منفجره است. آسیبی که به هدف وارد می‌کند صرفاً ناشی از ضربه جسم جامد آن است. گلوله در سلاح کمری یا تفنگ بخشی از فشنگ است. کلمه فارسی گلوله به صورت «غلوله» و «گولوله» نیز به کار رفته است.[۱] واژه گلوله یادگار دوره‌ای است که گلوله در سلاح‌های گرم به صورت کروی ساخته می‌شد. از قرن نوزدهم شکل گلوله‌ها تغییر کرد و به صورت کشیده و نوک تیز یا اسپیتزر درآمد. در برخی از متن‌های مربوط به شکار و تیراندازی واژه «مَرمی» نیز که واژه‌ای عربی است، به‌جای گلوله بکار می‌رود. گلوله‌ها ویژگی‌های مشترک منحصر به فردی دارند. به عنوان نمونه ویژگی‌های نظیر مُهر کالیبر با فونت بخصوص، آلیاژ پوسته گلوله و سه دندانه در جایی که چاشنی به پوکه فشنگ وصل می‌شود، نشان‌دهنده یک سازنده مشترک است. هم‌چنین در برخی موارد، گلوله‌ها دارای مُهرهایی هستند که در بایگانی‌های عمومی اطلاعات مربوط به سازندگان سلاح موجود است. مُهرها دارای علامت‌گذاری کالیبر ساده هستند که معمولاً دو رقم آخر سال ساخت گلوله را نشان می‌دهند.",
+    "question": "واژه گلوله مربوط به چه دوره‌ای می‌باشد؟",
+    "answer": "که گلوله در سلاح‌های گرم به صورت کروی ساخته می‌شد.",
+    "title": "Example No. 11"
+  },
+  {
+    "context": "قالی، فرش یا قالین نوعی گستردنیِ بافته شده از الیاف پنبه، پشم و در بعضی موارد ابریشم است که معمولاً برای پوشش زمین به کار می‌رود. به دست بافتهٔ پُرزدار و گره‌دار، قالی گفته می‌شود. از آنجا که قالی و فرش همیشه نقش‌های زیبا بر خود داشته‌اند، امروزه به جنبهٔ تزئینی آن نیز توجه می‌شود. در زبان پهلوی واژه‌های گوناگونی برای اشاره به انواع گستردنی‌ها به کار برده می‌شد، برای قالی نفیس از بَت یا بوپ، برای نمد و فرش از نمت استفاده می‌شد. اما واژهٔ قالی یا غالی از نام شهری به نام قالین در ارمنستان که در آن دوران بخشی از ایران باستان بوده‌است، گرفته شده‌است. البتّه فرهنگ لغت عمید کلمهٔ قالی را برگرفته از کلمهٔ ترکی قالین به معنای فرشِ پُرزدار که با نخ و پشم به رنگ‌های مختلف بافته می‌شود، معنی کرده‌است. فرش‌های ایران در دورهٔ صفویه به بالاترین حد خود در زیبایی و بافت رسیدند که این مهم به دلیل. تحت پشتیبانی شاهان قدرتمندی چون شاه عباس قرارگرفتن بود و دسترسی فراوان به مواد مورد نیاز برای بافت فرش و همچنین به‌رسمیت‌شناختنِ فرش به عنوان کالایی برای تجارت بوده‌است.  قالی ایرانی پازیریک، قدیمی‌ترین قالیِ دستبافِ یافته‌شدهٔ جهان است که در سیبری کشف شده و بافت ایران در دوران هخامنشیان است.",
+    "question": "قالی یا فرش چیه؟",
+    "answer": "قالی، فرش یا قالین نوعی گستردنیِ بافته شده از الیاف پنبه، پشم و در بعضی موارد ابریشم است که معمولاً برای پوشش زمین به کار می‌رود.",
+    "title": "Example No. 12"
+  },
+  {
+    "context": "تُرکیه با نام رسمی جمهوری ترکیه، کشوری اوراسیایی است که بخش بزرگ کشور یعنی آناتولی یا آسیای کوچک در شمال غرب آسیا و خاورمیانه جای گرفته‌است و بخش کوچکی نیز به نام تراکیه در منطقهٔ بالکان (منطقه‌ای در جنوب شرق اروپا) قرار دارد. ترکیه در شرق با کشورهای ایران، نخجوان، ارمنستان، و گرجستان؛ در جنوب شرقی با عراق و سوریه؛ و در شمال غربی (بخش اروپایی) با بلغارستان و یونان همسایه است. همچنین ترکیه از شمال با دریای سیاه، از غرب با دو دریای کوچک مرمره و اژه و از جنوب غرب با دریای مدیترانه مرز آبی دارد. دو تنگهٔ راهبردی بسفر و داردانل نیز در اختیار ترکیه است. پهناوری ترکیه ۷۸۳٬۳۵۶ کیلومتر مربع (سی و هفتم) است. ترکیه کشوری کوهستانی و نسبتاً پرباران است. شکل این کشور مانند یک مستطیل است که از سوی شرق و غرب امتداد یافته‌است. ترکیه با قرار گرفتن در یکی از حسّاس‌ترین مناطق جهان، دارای موقعیّت جغرافیایی راهبردی و بسیار خوبی است و گذرگاه شمال غرب آسیا و اروپا به‌شمار می‌آید و کشورهای بسیاری، به ویژه کشور ایران از خاک ترکیه برای ترانزیت کالا و انرژی استفاده می‌کنند.",
+    "question": "منطقهٔ بالکان کجاست؟",
+    "answer": "منطقه‌ای در جنوب شرق اروپا",
+    "title": "Example No. 13"
+  },
+  {
+    "context": "یک اِنجیل، شرحی از زندگی و آموزه‌های عیسی است. چهار انجیل اصلی، یعنی انجیل متی، مرقس، لوقا و یوحنا، در کنار یکدیگر انجیل‌های عهد جدید از کتاب مقدس هستند و احتمالاً بین سال‌های ۶۶ تا ۱۱۰ میلادی نوشته شده‌اند. نام نویسندگان چهار انجیل مذکور مشخص نیست و این اسامی را در قرن دوم میلادی به آن‌ها داده‌اند. احتمال قریب به یقین هیچ‌کدام از نویسندگان این انجیل‌ها عیسی را از نزدیک نمی‌شناختند و هر چهار انجیل پس از نقل سینه به سینه سرانجام مکتوب شده‌اند. به اتفاق مسیحیان عهد جدید را به عنوان کتاب آسمانی خود قبول دارند و مطالعه می‌کنند. نام این بخش به پیمانی اشاره دارد که آغازگر دورهٔ جدیدی از ارتباط خداوند با انسان است. خداوند طبق این پیمان شریعتی را که از طریق موسی عطا کرده بود برداشت و ایمان به مسیح را شرط بخشایش گناهان انسان و رستگاری او قرار داد. عهد جدید علاوه بر چهار انجیل اصلی، کتاب اعمال رسولان، نامه‌های رسولان مسیح و کتاب مکاشفه را هم دربرمی‌گیرد. انجیل‌های دیگری هم در طول تاریخ نوشته شده‌است که همگی متاخرتر از چهار انجیل اصلی هستند.",
+    "question": "انجیل‌های عهد جدید در چه سالی ایجاد شده اند؟",
+    "answer": "احتمالاً بین سال‌های ۶۶ تا ۱۱۰ میلادی",
+    "title": "Example No. 14"
+  },
+  {
+    "context": "آشیل که از مادری آسمانی به نام تتیس و پدری فانی به دنیا آمده و مقدّر شده یا عمری طولانی داشته باشد یا عمری کوتاه در عوض نامش در تاریخ بماند. مادرش که می‌خواهد او عمری طولانی داشته باشد به او لباس زنانه می‌پوشاند اما در نهایت جنگجویی بزرگ می‌شود و به عبارت بهتر بزرگترین جنگجوی سراسر یونان شد. تتیس فرزندش را در کودکی در رودخانه استوکس غوطه ور ساخت و به ترتیب او رویین‌تن شد البته جز پاشنه پایش که در دست مادر بود.قبل از به دنیا آمدن آشیل، مادرش تتیس دیده بود که آشیل یا زندگی طولانی و خسته‌کننده‌ای خواهد داشت یا زندگی کوتاه اما درعوض نام او در تمام طول تاریخ به خاطر سپرده می‌شود. تتیس که ترجیح می‌داد پسرش زندگی بیشتری داشته باشد تصمیم گرفت لباسی دخترانه برتن او کند تا به دنبال جنگ نرود. اما روزی فرا رسید که اودیسئوس هوشمند آشیل را فریب داد. اودیسئوس دختران را به صف کرد و هدایای مختلفی را در جلوی آن‌ها قرار داد و آشیل تنها کسی بود که از بین هدایا شمشیر را انتخاب نمود و همین مسئله ثابت کرد او یک مرد است. تتیس آشیل نوزاد را به جهان زیرین برد و او را از پاشنه گرفته، در رود سیاه جهان مردگان یعنی استوکس فروکرد و باعث شد بدنش فناناپذیر شود.",
+    "question": "اشیل بزرگترین جنگ جوی کجا بود؟",
+    "answer": "یونان",
+    "title": "Example No. 15"
+  },
+  {
+    "context": "فرهاد مجیدی قادیکلایی مشهور به فرهاد مجیدی بازیکن فوتبال اهل ایران است. مجیدی در ۴۵ بازی ملی ۱۰ گل به ثمر رسانده‌است. او همچنین سابقه بازی در باشگاه‌های صنایع پارچین، کشاورز، بهمن کرج، استقلال و راپید وین اتریش را در کارنامه دارد. مجیدی ۷ سال سابقه حضور در لیگ امارات با تیم‌های الوصل، العین، الاهلی و النصر را دارد و یک سال نیز در تیم الغرافه قطر بازی کرده‌است. مجیدی در ۷ آبان ۱۳۹۲ در باشگاه استقلال تهران از دنیای فوتبال به عنوان بازیکن خداحافظی کرد. وی از خانواده‌ای مازندرانی و قائم‌شهری است ولی متولد و ساکن تهران است. وی یک برادر و ۲ خواهر دارد که به غیر از فرهاد، برادرش فرزاد نیز به فوتبال روی آورد. همسر وی، فرناز مؤمنی نام دارد و دارای دو فرزند به نام‌های تیام و امیر بردیا می‌باشد. فرهاد مجیدی دوران فوتبال خود را با تیم فوتبال صنایع پارچین که محل زندگی خود و کار پدرش در آنجا بود شروع کرد. نخستین تیم رسمی که فرهاد مجیدی در آن بازی کرد، تیم جوانان کشاورز بود. او بعد از مدتی بازی در این تیم به جوانان بهمن پیوست.",
+    "question": "فرهاد مجیدی در لیگ ام��رات برای چه باشگاه های بازی کرده؟",
+    "answer": "تیم‌های الوصل، العین، الاهلی و النصر",
+    "title": "Example No. 16"
+  },
+  {
+    "context": "زئوس در اساطیر یونانی، پادشاه خدایان و فرمانروای تمام زیارتگاه‌های واقع در کوه المپ است. او کوچکترین فرزند کرونوس و رئا از نژاد تیتان‌ها بود. معادل آن در اسطوره‌های رومی ژوپیتر و در دین کرتیان ولخانوس است. نام زئوس مربوط است به کلمهٔ یونانی dios به معنی «درخشان». واژه زئوس با بخش نخست واژه لاتین ژوپیتر «Jupiter» و واژه مورد کاربرد برای روز پیوند دارد. زئوس ایزد آسمان رخشان و نیز توفان به‌شمار می‌رفت و هم بدین دلیل سلاح او آذرخش بود که آن را به سمت کسی که او را ناخشنود کرده، پرتاب می‌کرده‌است. مواردی که او را بسیار خشمگین می‌کرد دروغگویی، پیمان‌شکنی و خیانت بوده‌است. از دیگر نشانه‌های او می‌توان به عصای سلطنتی، بلوط، عقاب و سپرش (ساخته شده از پوست بز آمالتئا) اشاره کرد. کرونوس، پدر زئوس، شنیده بود که توسط یکی از فرزندانش سرنگون خواهد شد. به همین دلیل فرزندان خود را می‌بلعید. اما زئوس که فرزند ششم بود توسط رئا و گایا نجات پیدا کرد. رئا سنگ بزرگی را قنداق‌پیچ کرده و به کرونوس داد، وی نیز که فکر می‌کرد این سنگ بزرگ زئوس است آن را به جای زئوس بلعید.",
+    "question": "چرا اسلحه زئوس آذرخش بود؟",
+    "answer": "ایزد آسمان رخشان و نیز توفان",
+    "title": "Example No. 17"
+  },
+  {
+    "context": "سلمان فارسی (پیش از مسلمان شدن: روزبه) (۵۶۸–۶۵۳ میلادی) صحابی ایرانی بود که پیامبر اسلام او را از خود (اهل بیت) خواند و به سلمان محمدی شهرت یافت. در ایران به اعتقاد بسیاری او یک خائن بوده، که در مقابله سپاه ساسانی برای اعراب جنگیده مخصوصا حضور او در نبرد قادسیه و کشتار ایرانیان در این نبرد و در اختیار گذاشتن بسیاری از اطلاعات سری ایران برای اعراب در زمان حمله اعراب به ایران؛ در روزی که قریش نیروهایش را نزدیک مدینه گردآورد تا بر مسلمانان حمله بَرَد (غزوه خندق)، او پیشنهاد داد تا خندقی ژرف پیرامون مدینه حفر گردد تا از آن پاسبانی شود. سلمان فارسی نزد مسلمانان به‌ویژه مسلمانان شیعه گرامی داشته می‌شود و برای او جایگاهی والا در نظر دارند. او با این که پسر یکی از دهقانان ایران بود، زرتشتی باقی نماند و سال‌ها به سرزمین‌های گوناگون سفر کرد که در همین سفرها در سرزمینی به بردگی درآمد و سپس با کمک محمد آزاد گشت. سلمان فارسی حکیمی که خرد و دانش‌های ایرانیان و مسیحیان را می‌دانست از مشاوران محمد، از جمله طراح اصلی حفر خندق در جنگ خندق بوده‌است. او در سال‌های پایانی زندگی خود استاندار (والی) مدائن گردید. وی از اولین ایرانیانی بود که اسلام را پذیرفت. در خصوص زندگی او مجموعه‌ای تلویزیونی در حال ساخت است.",
+    "question": "کدام مسلمانان برای سلمان فارسی جایگاه ویژه ای در نظر دارند؟",
+    "answer": "مسلمانان شیعه",
+    "title": "Example No. 18"
+  },
+  {
+    "context": "جِیمز کلارک ماکسوِل (زاده ۱۳ ژوئن ۱۸۳۱ در ادینبورگ – درگذشته ۵ نوامبر ۱۸۷۹ در کمبریج)، فیزیک‌دان اهل اسکاتلند بود. مهم‌ترین دستاوردهای او، فرمول‌بندی نظریه کلاسیک امواج الکترومغناطیسی و گردآوردن الکتریسیته، مغناطیس و نور برای نخستین بار در کنار هم، به عنوان جلوه‌هایی از یک پدیده، اشاره بوده‌است. معادلات ماکسول، دومین یکپارچه‌سازی بزرگ در فیزیک، پس از نخستین آن که از سوی نیوتن انجام گرفت، به‌شمار می‌رود. ماکسول با انتشار \"یک نظریه دینامیک برای میدان الکترومغناطیسی\" در سال ۱۸۶۵ نشان داد که میدان‌های الکتریکی و مغناطیسی به شکل امواجی با سرعت نور در فضا حرکت می‌کنند. او بنیان‌گذار رشته نوین مهندسی برق شناخته می‌شود. ماکسول همچنین به گسترش توزیع ماکسول–بولتزمن، روشی استاتیکی برای بیان نظریه جنبشی‌مولکولی گازها، کمک کرد. نبوغ ماکسول در ریاضیات، در دوران کودکیِ وی آشکار شد که بعدها آن را در بسیاری از حوزه‌ها به کار گرفت. او در چهارده سالگی، نوشتاری درباره بیضیها منتشر کرد. ماکسول در سال ۱۸۵۴ تحصیلات خود را به پایان رساند و بعد از تکمیل تحصیلات در دانشگاه ادینبورگ و کمبریج، نخستین استاد علوم طبیعی در دانشگاه اسکاتلند و سپس کمبریج شد.",
+    "question": "جیمز کلارک ماکسول کیه؟",
+    "answer": "فیزیک‌دان",
+    "title": "Example No. 19"
+  },
+  {
+    "context": "ولایت: به معنی دوستی و پذیرش سرپرستی خدا، پیامبران، امام و دعات(مبلغین) است. در آموزه‌های اسماعیلی، خدا می‌تواند در پیامبران و امامان تجلی کند. دعات مومنان را به راه راست رهبری و راهنمایی می‌کنند. دروزیان از این رکن با نام تسلیم نام می‌برند. طهارت: به معنی پاکیزگی است، این رکن دین از قرآن گرفته شده است. درزیان طهارت را از ارکان دین نمی‌دانند. نماز (اسلام): برخلاف مسلمانان سنی و شیعیان دوازده امامی، اسماعیلیان معتقدند که تعیین شیوه صحیح نماز خواندن برعهده امام حاضر است. شیوه نماز خواندن امروز نزاریان، از قدیم تغییری نکرده و مانند دیگر مسلمانان نماز ۵ بار در روز و ۱۷ رکعت می خوانند که نماز صبح ۲ رکعت نماز ظهر و عصر که با هم می باشد هر کدام چهار رکعت و نماز مغرب ۳ رکعت که با نماز عشا که ۴ رکعت است با هم می خوانند و پس از خواندن سوره ی فاتحه در نماز یا هم برخی پس از خواندن نماز دعایی مخصوص را می خوانند . درزیان، معنای نماز را صدق لسان(معنی لغوی زبان راست است ولی معنی این عبارت یاد نیک است) می‌دانند و شیوه خاصی برای نماز خواندن ندارند. ایشان نماز را به شیوه دیگر مسلمانان، سیره جهال می‌دانند؛ اما به لحاظ تاریخی، شرکت در نماز جماعت را برای تقیه جایز می‌دانند.",
+    "question": "رکن طهارت از کجا گرفته شده است؟",
+    "answer": "این رکن دین از قرآن گرفته شده است",
+    "title": "Example No. 20"
+  },
+  {
+    "context": "هواپیمایی ماهان شرکت هواپیمایی خصوصی ایرانی است و آشیانه اصلی این شرکت در شهر کرمان قرار دارد. این شرکت در سال ۱۳۷۱ در کرمان تأسیس گردید و نام ماهان ایر نیز برگرفته از ماهان شهری در ۳۵ کیلومتری کرمان است. سهام‌دار عمدهٔ این شرکت مؤسسه خیریه مولی‌الموحدین است. شرکت هواپیمایی ماهان هم‌اکنون ناوگانی متشکل از ۳۷ فروند هواپیمای مسافربری و باری را در اختیار دارد و روزانه به ۲۰ مقصد، در اروپا، آسیا و خاورمیانه، پروازهای مستقیم دارد. این شرکت هواپیمایی از سال ۲۰۱۱ به دلیل خدمات‌رسانی به سپاه پاسداران، تحت تحریم آمریکا، و از ۲۰۱۹ با ممنوعیت پرواز آلمان و فرانسه قرار دارد. برخی منابع هواپیمایی ماهان را عامل انتقال ویروس کرونا به ایران می‌دانند. شرکت هواپیمایی ماهان، به مرکزیت شهر تهران، از لحاظ ناوگان هوایی و مسافر حمل شده به عنوان بزرگترین شرکت هواپیمایی ایران به‌شمار می‌آید. این شرکت در سال ۱۳۷۱ با برخورداری از دو فروند هواپیمای مسافربری، تأسیس گردید. در سال ۱۳۷۸ اولین هواپیمای ایرباس ای۳۰۰ به ناوگان هواپیمایی ماهان ملحق گردید و در سال ۱۳۷۹ به عضویت در انجمن بین‌المللی حمل‌ونقل هوایی (یاتا) پیوست.",
+    "question": "شرکت هواپیمایی ماهان به چند جا پرواز مستقیم داره؟",
+    "answer": "۲۰ مقصد، در اروپا، آسیا و خاورمیانه",
+    "title": "Example No. 21"
+  },
+  {
+    "context": "ژن، در ژنتیک مندلی و ژنتیک مولکولی کلاسیک, همچنین در مبحث تکامل و در دوران پساژنگان تعاریف متفاوتی دارد اما از دیدگاه مولکولی کلاسیک دنباله‌ای از نوکلوئوتیدهاست که در برگیرنده اطلاعات لازم جهت تولید مولوکول‌های RNA و یا پروتئین‌های لازم برای سلول هستند. هر ژن در بخشی از DNA سلول وجود دارد.یا با تعریفی دیگر ژن بخشی از مولکول دی ان ای می باشد که روی یک رشته از آن قرار دارد. درون سلول‌ها، طی فرایند رونویسی ژن‌ها به مولکول‌های RNA تبدیل می‌شوند که یا به شکل مستقیم در سلول استفاده می‌شوند و یا دربرگیرنده اطلاعاتی جهت تولید پروتئین هستند و طی فرایند ترجمه، پروتئین مربوط به آن‌ها ساخته می‌شود. ژن‌ها می‌توانند دچار جهش شوند، که تغییری در توالی دنباله آن‌هاست. جهش‌ها باعث ایجاد تغییر در پروتئین‌های تولید شده از روی ژن‌ها می‌شوند و می‌توانند عملکرد پروتئین را به کلی تغییر دهند و باعث به وجود آمدن صفاتی جدید در سلول بشوند. ژن‌ها در اثر جهش‌های ژنتیکی، براساس انتخاب طبیعی تکامل پیدا می‌کنند و ژن‌های قوی‌تر و بهتر به مرور جایگزین ژن‌های قبلی می‌شوند.",
+    "question": "به تغییراتی که در توالی دنباله ژن ها اتفاق می افتد چه می گویند؟",
+    "answer": "جهش",
+    "title": "Example No. 22"
+  },
+  {
+    "context": "زئوس در اساطیر یونانی، پادشاه خدایان و فرمانروای تمام زیارتگاه‌های واقع در کوه المپ است. او کوچکترین فرزند کرونوس و رئا از نژاد تیتان‌ها بود. معادل آن در اسطوره‌های رومی ژوپیتر و در دین کرتیان ولخانوس است. نام زئوس مربوط است به کلمهٔ یونانی dios به معنی «درخشان». واژه زئوس با بخش نخست واژه لاتین ژوپیتر «Jupiter» و واژه مورد کاربرد برای روز پیوند دارد. زئوس ایزد آسمان رخشان و نیز توفان به‌شمار می‌رفت و هم بدین دلیل سلاح او آذرخش بود که آن را به سمت کسی که او را ناخشنود کرده، پرتاب می‌کرده‌است. مواردی که او را بسیار خشمگین می‌کرد دروغگویی، پیمان‌شکنی و خیانت بوده‌است. از دیگر نشانه‌های او می‌توان به عصای سلطنتی، بلوط، عقاب و سپرش (ساخته شده از پوست بز آمالتئا) اشاره کرد. کرونوس، پدر زئوس، شنیده بود که توسط یکی از فرزندانش سرنگون خواهد شد. به همین دلیل فرزندان خود را می‌بلعید. اما زئوس که فرزند ششم بود توسط رئا و گایا نجات پیدا کرد. رئا سنگ بزرگی را قنداق‌پیچ کرده و به کرونوس داد، وی نیز که فکر می‌کرد این سنگ بزرگ زئوس است آن را به جای زئوس بلعید.",
+    "question": "چرا اسلحه زئوس آذرخش بود؟",
+    "answer": "ایزد آسمان رخشان و نیز توفان",
+    "title": "Example No. 23"
+  },
+  {
+    "context": "ابرشرکت تویوتا موتور یک ابرشرکت چندملیتی ژاپنی سازندهٔ خودرو، ماشین‌آلات و پیشرانه مستقر در شهر تویوتا در استان آیچی ژاپن است. نخستین خط تولید خودرو شرکت تویوتا در سال ۱۹۳۷ توسط کیشیرو تویودا و در کارخانه شرکت نساجی صنایع تویوتا، که متعلق به پدر وی (ساکیشی تویودا) بود، راه‌اندازی شد. نخستین خودروی سواری این شرکت تویوتا ای‌ای نام داشت. ابرشرکت تویوتا دارندهٔ برندهای دینا، دایهاتسو، سایون، لکسوس و هینو موتورز نیز می‌باشد که هم‌اکنون به‌عنوان بزرگترین خودروساز جهان شناخته می‌شود. سهام این شرکت در بازار بورس نیویورک، بورس لندن و بورس توکیو معامله می‌شود. ریشه‌های تأسیس شرکت خودروسازی تویوتا، به سال ۱۹۲۶ بازمی‌گردد، که ساکیشی تویودا، اقدام به راه‌اندازی شرکت صنایع تویوتا نمود. پیشینه این شرکت، که در صنعت نساجی فعالیت می‌کرد نیز، به ابتدای قرن بیستم بازمی‌گردد، که به عنوان یک کارخانه ریسندگی فعالیت می‌نمود. ساکیشی تویودا، که سال‌ها همچون پدرش، به فروش فرش اشتغال داشت، این کارخانه را راه‌انداخته بود و در سال ۱۸۹۴ یک ماشین بافندگی صنعتی نیز ابداع کرده و ساخته بود.",
+    "question": "اولین ماشینی که تویوتا ساخت چی بود؟",
+    "answer": "تویوتا ای‌ای",
+    "title": "Example No. 24"
+  },
+  {
+    "context": "سازمان آموزشی، علمی و فرهنگی سازمان ملل متحد (یونسکو) یک سازمان تخصصی سازمان ملل متحد است که با هدف کمک به «ایجاد صلح، ریشه کن کردن فقر، توسعه پایدار و گفتگوی بین فرهنگی از طریق آموزش، علوم، فرهنگ، ارتباطات و اطلاعات» به وجود آمده‌است و جانشین کمیته بین‌المللی همکاری اندیشمندانه جامعه ملل است. یونسکو ۱۹۳ کشور عضو رسمی و ۱۱ عضو وابسته دارد. اکثر دفاتر آن در پاریس، فرانسه، مستقر است افزون بر این مراکز، دفاتر ملی و منطقه ای نیز وجود دارد. یونسکو به دنبال ایجاد فرهنگ صلح و دانش فراگیر از طریق اطلاعات و ارتباطات است. برای این منظور، اهداف خود را از طریق پنج حوزه اصلی دنبال می‌کند: آموزش، علوم طبیعی، علوم اجتماعی / انسانی، فرهنگ و ارتباطات / اطلاعات. این برنامه از پروژه‌های مرتبط با سواد، آموزش فنی، آموزش، پیشرفت علم، ترویج رسانه‌های مستقل و آزادی مطبوعات، حفظ تاریخ منطقه ای و فرهنگی و ترویج تنوع فرهنگی حمایت می‌کند . یونسکو در ترجمه و ترویج ادبیات جهان، ایجاد توافق‌نامه‌های همکاری بین‌المللی برای تأمین امنیت \" میراث جهانی \" از اهمیت فرهنگی و طبیعی، حفظ حقوق بشر و پل زدن شکاف دیجیتال در سراسر جهان کمک می‌کند. این برنامه همچنین جنبش آموزش برای همه و علم‌آموزی تمام عمر را راه اندازی و رهبری می‌کند.",
+    "question": "یونسکو از طریق چی اهدافش رو اجرا می کنه؟",
+    "answer": "آموزش، علوم، فرهنگ، ارتباطات و اطلاعات",
+    "title": "Example No. 25"
+  }
+]

meta.py

@@ -0,0 +1,9 @@
+HEADER_INFO = """
+# GPT2 QA - Persian
+""".strip()
+SIDEBAR_INFO = """
+# Configuration
+""".strip()
+C_PROMPT_BOX = "متن خود را وارد کنید ..."
+Q_PROMPT_BOX = "پرسش خود را مطرح کنید ..."
+A_PROMPT_BOX = "وارد نشده."

normalizer.py

@@ -0,0 +1,81 @@
+import hazm
+import re
+
+from regexes.currency import CURRENCY_REGEX
+from regexes.email import EMAIL_REGEX
+from regexes.latin import LATIN_REGEX
+from regexes.number import NUMBERS_REGEX
+from regexes.phone import PHONE_REGEX
+from regexes.quote import DOUBLE_QUOTE_REGEX, SINGLE_QUOTE_REGEX
+from regexes.url import URL_REGEX
+from regexes.persian import PERSIAN_REGEX
+import dictionary
+
+
+def make_trans(list_a, list_b):
+    return dict((ord(a), b) for a, b in zip(list_a, list_b))
+
+
+def multiple_replace(text, chars_to_mapping):
+    pattern = "|".join(map(re.escape, chars_to_mapping.keys()))
+    return re.sub(pattern, lambda m: chars_to_mapping[m.group()], str(text))
+
+
+ar2fa_digits = make_trans("٠١٢٣٤٥٦٧٨٩٪", "۰۱۲۳۴۵۶۷۸۹٪")
+fa2en_digits = make_trans("۰۱۲۳۴۵۶۷۸۹٪", "0123456789%")
+normalizer = hazm.Normalizer(persian_numbers=True, punctuation_spacing=False)
+
+
+def normalize(text, zwnj="\u200c", tokenized=False):
+    text = text.replace("\n", " ").replace("\t", " ")
+    text = re.sub(r"\u200c+", "\u200c", text)
+    text = text.replace('ـ', '')
+    text = normalizer.normalize(text)
+
+    if len(dictionary.characters) > 0:
+        text = multiple_replace(text, dictionary.characters)
+
+    if len(dictionary.words_map) > 0:
+        text = multiple_replace(text, dictionary.words_map)
+
+    text = text.translate(ar2fa_digits)
+    text = text.translate(fa2en_digits)
+
+    text = SINGLE_QUOTE_REGEX.sub("'", text)
+    text = DOUBLE_QUOTE_REGEX.sub('"', text)
+    text = CURRENCY_REGEX.sub(r" \1 ", text)
+    text = URL_REGEX.sub(" ", text)
+    text = EMAIL_REGEX.sub(" ", text)
+    text = PHONE_REGEX.sub(r" \1 ", text)
+    text = NUMBERS_REGEX.sub(r" \1 ", text)
+    text = LATIN_REGEX.sub(r" \1 ", text)
+
+    # Allow only english and persian characters
+    text = re.sub(PERSIAN_REGEX, " ", text)
+
+    text = text.replace(f" {zwnj} ", f"{zwnj}")
+    text = text.replace(f"{zwnj} ", f"{zwnj}")
+    text = text.replace(f" {zwnj}", f"{zwnj}")
+
+    if len(dictionary.special_tokens) > 0:
+        text = multiple_replace(text, dictionary.special_tokens)
+
+    tokens = []
+    for token in text.split():
+        token = token.strip()
+        if token:
+            if token.startswith(zwnj) and token.endswith(zwnj):
+                token = token[1:-1]
+            if token.startswith(zwnj):
+                token = token[1:]
+            elif token.endswith(zwnj):
+                token = token[:-1]
+            else:
+                token = token
+
+            tokens.append(token)
+
+    if tokenized:
+        return tokens
+
+    return " ".join(tokens)

regexes/currency.py

@@ -0,0 +1,23 @@
+import re
+
+CURRENCIES = {
+    "$": "USD",
+    "zł": "PLN",
+    "£": "GBP",
+    "¥": "JPY",
+    "฿": "THB",
+    "₡": "CRC",
+    "₦": "NGN",
+    "₩": "KRW",
+    "₪": "ILS",
+    "₫": "VND",
+    "€": "EUR",
+    "₱": "PHP",
+    "₲": "PYG",
+    "₴": "UAH",
+    "₹": "INR",
+    "﷼": "IRR",
+}
+CURRENCY_REGEX = re.compile(
+    "({})+".format("|".join(re.escape(c) for c in CURRENCIES.keys()))
+)

regexes/email.py

@@ -0,0 +1,6 @@
+import re
+
+EMAIL_REGEX = re.compile(
+    r"(?:^|(?<=[^\w@.)]))([\w+-](\.(?!\.))?)*?[\w+-](@|[(<{\[]at[)>}\]])(?:(?:[a-z\\u00a1-\\uffff0-9]-?)*[a-z\\u00a1-\\uffff0-9]+)(?:\.(?:[a-z\\u00a1-\\uffff0-9]-?)*[a-z\\u00a1-\\uffff0-9]+)*(?:\.(?:[a-z\\u00a1-\\uffff]{2,}))",
+    flags=re.IGNORECASE | re.UNICODE,
+)

regexes/latin.py

@@ -0,0 +1,13 @@
+import re
+
+LATIN_WITH_SPECIAL_REGEX = re.compile(
+    r"(\b(?!URL|EMAIL|PHONE|NUMBER|CUR|LATIN\b)[0-9a-zA-Z]+)"
+)
+
+LATIN_REGEX = re.compile(
+    r"([0-9a-zA-Z]+)"
+)
+
+LATIN_SPACES_REGEX = re.compile(
+    r"([0-9a-zA-Z])"
+)

regexes/number.py

@@ -0,0 +1,5 @@
+import re
+
+NUMBERS_REGEX = re.compile(
+    r"(?:^|(?<=[^\w,.]))[+–-]?(([1-9]\d{0,2}(,\d{3})+(\.\d*)?)|([1-9]\d{0,2}([ .]\d{3})+(,\d*)?)|(\d*?[.,]\d+)|\d+)(?:$|(?=\b))"
+)

regexes/persian.py

@@ -0,0 +1,19 @@
+import re
+
+
+PERSIAN_ALPHA = "ءآئابتثجحخدذرزسشصضطظعغفقلمنهوپچژکگیە"  # noqa: E501
+PERSIAN_DIGIT = "۰۱۲۳۴۵۶۷۸۹"
+
+
+ZWNJ = "\u200c"
+PUNK = '\!\"\#\$\%\&\'\(\)\*\+\,\-\.\/\:\;\<\=\>\?\@\[\]\^\_\`\{\|\}\~\«\»\؟\:\×\٬\٫\﷼\٪\،'
+
+PERSIAN = (
+    "a-zA-Z0-9" +
+    PERSIAN_ALPHA +
+    PERSIAN_DIGIT +
+    ZWNJ +
+    PUNK
+)
+
+PERSIAN_REGEX = r"[^" + PERSIAN + "+]"

regexes/phone.py

@@ -0,0 +1,6 @@
+import re
+
+
+PHONE_REGEX = re.compile(
+    r"((?:^|(?<=[^\w)]))(((\+?[01])|(\+\d{2}))[ .-]?)?(\(?\d{3,4}\)?/?[ .-]?)?(\d{3}[ .-]?\d{4})(\s?(?:ext\.?|[#x-])\s?\d{2,6})?(?:$|(?=\W)))|\+?\d{4,5}[ .-/]\d{6,9}"
+)

regexes/punk.py

@@ -0,0 +1,5 @@
+import re
+
+PUNK_REGEX = re.compile(
+    r"([\!\"\#\$\%\&\'\(\)\*\+\,\-\.\/\:\;\=\?\@\[\\\]\^\_\`\{\|\}\~\«\»\⸮\؟\،\٬\٫\؛])"
+)

regexes/quote.py

@@ -0,0 +1,25 @@
+import re
+
+
+strange_double_quotes = [
+    "«",
+    "‹",
+    "»",
+    "›",
+    "„",
+    "“",
+    "‟",
+    "”",
+    "❝",
+    "❞",
+    "❮",
+    "❯",
+    "〝",
+    "〞",
+    "〟",
+    "＂",
+]
+strange_single_quotes = ["‘", "‛", "’", "❛", "❜", "`", "´", "‘", "’"]
+
+DOUBLE_QUOTE_REGEX = re.compile("|".join(strange_double_quotes))
+SINGLE_QUOTE_REGEX = re.compile("|".join(strange_single_quotes))

regexes/url.py

@@ -0,0 +1,38 @@
+import re
+
+URL_REGEX = re.compile(
+    r"(?:^|(?<![\w\/\.]))"
+    # protocol identifier
+    # r"(?:(?:https?|ftp)://)"  <-- alt?
+    r"(?:(?:https?:\/\/|ftp:\/\/|www\d{0,3}\.))"
+    # user:pass authentication
+    r"(?:\S+(?::\S*)?@)?" r"(?:"
+    # IP address exclusion
+    # private & local networks
+    r"(?!(?:10|127)(?:\.\d{1,3}){3})"
+    r"(?!(?:169\.254|192\.168)(?:\.\d{1,3}){2})"
+    r"(?!172\.(?:1[6-9]|2\d|3[0-1])(?:\.\d{1,3}){2})"
+    # IP address dotted notation octets
+    # excludes loopback network 0.0.0.0
+    # excludes reserved space >= 224.0.0.0
+    # excludes network & broadcast addresses
+    # (first & last IP address of each class)
+    r"(?:[1-9]\d?|1\d\d|2[01]\d|22[0-3])"
+    r"(?:\.(?:1?\d{1,2}|2[0-4]\d|25[0-5])){2}"
+    r"(?:\.(?:[1-9]\d?|1\d\d|2[0-4]\d|25[0-4]))"
+    r"|"
+    # host name
+    r"(?:(?:[a-z\\u00a1-\\uffff0-9]-?)*[a-z\\u00a1-\\uffff0-9]+)"
+    # domain name
+    r"(?:\.(?:[a-z\\u00a1-\\uffff0-9]-?)*[a-z\\u00a1-\\uffff0-9]+)*"
+    # TLD identifier
+    r"(?:\.(?:[a-z\\u00a1-\\uffff]{2,}))" r"|" r"(?:(localhost))" r")"
+    # port number
+    r"(?::\d{2,5})?"
+    # resource path
+    r"(?:\/[^\)\]\}\s]*)?",
+    # r"(?:$|(?![\w?!+&\/\)]))",
+    # @jfilter: I removed the line above from the regex because I don't understand what it is used for, maybe it was useful?
+    # But I made sure that it does not include ), ] and } in the URL.
+    flags=re.UNICODE | re.IGNORECASE,
+)

requirements.txt

@@ -0,0 +1,6 @@
+streamlit
+hazm
+Pillow
+mtranslate
+torch
+transformers

utils.py

@@ -0,0 +1,35 @@
+import streamlit as st
+import json
+from PIL import Image
+
+
+def load_image(image_path, image_resize=None):
+    image = Image.open(image_path)
+    if isinstance(image_resize, tuple):
+        image.resize(image_resize)
+    return image
+
+
+def load_text(text_path):
+    text = ''
+    with open(text_path) as f:
+        text = f.read()
+
+    return text
+
+
+def load_json(json_path):
+    jdata = ''
+    with open(json_path) as f:
+        jdata = json.load(f)
+
+    return jdata
+
+
+def local_css(css_path):
+    with open(css_path) as f:
+        st.markdown(f'<style>{f.read()}</style>', unsafe_allow_html=True)
+
+
+def remote_css(css_url):
+    st.markdown(f'<link href="{css_url}" rel="stylesheet">', unsafe_allow_html=True)