feat: if endpoint available use streaming as we have TGI

app.py

@@ -12,6 +12,7 @@ from utils import force_git_push
 HF_TOKEN = os.environ.get("HF_TOKEN", None)
 DATASET_REPO_URL = os.getenv("DATASET_REPO_URL")
 MODEL_NAME = os.getenv("MODEL_NAME")
+ENDPOINT = os.getenv("ENDPOINT")
 FORCE_PUSH = os.getenv("FORCE_PUSH")
 BOT_NAME = "PersianGPT-FT"
 PUSH_FREQUENCY = 60 # every minute
@@ -22,8 +23,19 @@ USERNAME = ""
 NAME = ""
 
 REVISION = "4f68dc3740b410835da71811d92bd3b2d690e79c"
-#API_URL = os.environ.get("API_URL", None)
-API_URL = f"https://api-inference.huggingface.co/models/{MODEL_NAME}/revision/{REVISION}" if len(REVISION)>0 else f"https://api-inference.huggingface.co/models/{MODEL_NAME}"
+
+if len(ENDPOINT)>0:
+    API_URL = f"{ENDPOINT}"
+    MODEL_VERSION = f"{ENDPOINT}" if len(REVISION)==0 else REVISION
+else:
+    API_URL = f"https://api-inference.huggingface.co/models/{MODEL_NAME}/revision/{REVISION}" if len(REVISION)>0 else f"https://api-inference.huggingface.co/models/{MODEL_NAME}"
+    model_repo = Repository(local_dir="model", 
+                        clone_from=MODEL_REPO_URL, 
+                        use_auth_token=HF_TOKEN, 
+                        skip_lfs_files=True,
+                        revision=REVISION)
+    MODEL_VERSION = model_repo.git_head_commit_url() if len(REVISION)==0 else REVISION
+
 MODEL_REPO_URL = f"https://huggingface.co/{MODEL_NAME}"
 
 DATA_FILENAME = "data.jsonl"
@@ -31,12 +43,7 @@ DATA_FILE = os.path.join("data", DATA_FILENAME)
 data_repo = Repository(local_dir="data", 
                   clone_from=DATASET_REPO_URL, 
                   use_auth_token=HF_TOKEN)
-model_repo = Repository(local_dir="model", 
-                        clone_from=MODEL_REPO_URL, 
-                        use_auth_token=HF_TOKEN, 
-                        skip_lfs_files=True,
-                        revision=REVISION)
-MODEL_VERSION = model_repo.git_head_commit_url() if len(REVISION)==0 else REVISION
+
 
 if REVISION == "4f68dc3740b410835da71811d92bd3b2d690e79c":
     prompt_dict = {'<$قصاید$': 6621, '<': 86431, '<$$': 23118, '<$غزل$%وحدت کرمانشاهی%': 60, '<$قصاید$%سنایی غزنوی%': 98, '<$رباعی$%قدسی مشهدی%': 651, '<$$%نیما یوشیج%': 54, '<%شهریار%': 329, '<$غزل$%مولوی%': 3247, '<%امیرخسرو دهلوی%': 3389, '<$غزل$%اوحدی مراغه ای%': 478, '<%شاه نعمت\u200cالله ولی%': 2700, '<$غزل$%صائب تبریزی%': 7472, '<%سنایی%': 1793, '<%سعدی%': 1920, '<$غزل$%فیض کاشانی%': 1449, '<$قطعه$%سلمان ساوجی%': 232, '<$$%خواجه عبدالله انصاری%': 261, '<%حافظ شیرازی%': 911, '<$رباعی$%عراقی%': 189, '<%صائب تبریزی%': 10395, '<$$%اقبال لاهوری%': 1176, '<$رباعی$': 10455, '<$غزل$': 41981, '<%بیدل دهلوی%': 3343, '<%سیف فرغانی%': 1270, '<$$%صائب تبریزی%': 2874, '<$رباعی$%کمال خجندی%': 42, '<%مولوی%': 6328, '<$رباعی$%مولوی%': 1986, '<$مثنوی$%پروین اعتصامی%': 347, '<$$%عطار%': 4066, '<$$%باباطاهر%': 391, '<$$%کمال\u200cالدین اسماعیل%': 365, '<$غزل$%خواجوی کرمانی%': 1306, '<%حکیم نزاری قهستانی%': 1456, '<%هلالی جغتایی%': 352, '<%عطار%': 5014, '<$غزل$%شهریار%': 302, '<%قدسی مشهدی%': 1218, '<$قصاید$%ناصرخسرو%': 281, '<$$%ابوسعید ابوالخیر%': 122, '<%سنایی غزنوی%': 399, '<$غزل$%شاه نعمت\u200cالله ولی%': 1564, '<%فرخی سیستانی%': 615, '<$غزل$%فروغی بسطامی%': 817, '<%بهرام سالکی%': 139, '<%اقبال لاهوری%': 1230, '<$غزل$%هلالی جغتایی%': 251, '<%عراقی%': 868, '<$قصاید$%فرخی سیستانی%': 510, '<$غزل$%امیرخسرو دهلوی%': 3122, '<$$%مولوی%': 1016, '<$غزل$%خاقانی شروانی%': 338, '<%انوری%': 1463, '<%ناصرخسرو%': 385, '<%فروغی بسطامی%': 864, '<$غزل$%بیدل دهلوی%': 3339, '<%وحشی%': 650, '<%خیام%': 323, '<$قطعه$': 751, '<%هاتف اصفهانی%': 396, '<$قصاید$%اوحدی%': 42, '<%کمال خجندی%': 1251, '<%هجویری%': 209, '<$غزل$%اوحدی%': 901, '<$غزل$%سنایی%': 440, '<%فردوسی%': 615, '<%اشعار ترانه\u200cهای سیاوش قمیشی%': 180, '<$$%رشیدالدین میبدی%': 1269, '<%حافظ%': 594, '<%عبید زاکانی%': 444, '<$غزل$%سیف فرغانی%': 983, '<$غزل$%عبید زاکانی%': 219, '<%منوچهری%': 97, '<%ناصرخسرو قبادیانی%': 286, '<$رباعی$%انوری%': 443, '<$رباعی$%خاقانی%': 352, '<$$%عمان سامانی%': 40, '<$غزل$%سلمان ساوجی%': 669, '<$رباعی$%ابوسعید ابوالخیر%': 749, '<$مفردات$': 486, '<$قصاید$%مسعود سعد سلمان%': 484, '<$$%نصرالله منشی%': 238, '<$$%سعدی%': 752, '<$$%فردوسی%': 615, '<$قصاید$%امام خمینی%': 3, '<$غزل$%حکیم نزاری قهستانی%': 1407, '<$غزل$%سعدی%': 703, '<$قصاید$%سلمان ساوجی%': 104, '<%باباطاهر%': 392, '<%خاقانی%': 1364, '<$غزل$%عطار%': 871, '<%نادر نادرپور%': 274, '<%ظهیر فاریابی%': 305, '<$رباعی$%رضی\u200cالدین آرتیمانی%': 100, '<%رشیدالدین میبدی%': 1336, '<$$%محتشم کاشانی%': 106, '<$غزل$%عطار نیشابوری%': 418, '<$رباعی$%اِ لیـــار    (جبار محمدی )%': 263, '<%عرفی%': 697, '<%مسعود سعد سلمان%': 1117, '<%عرفی شیرازی%': 160, '<$غزل$%هاتف اصفهانی%': 198, '<$$قصاید$%سیف فرغانی%': 263, '<$غزل$%شیون فومنی%': 41, '<$غزل$%حافظ شیرازی%': 830, '<$تضمین$%صامت بروجردی%': 17, '<%عنصری%': 478, '<$$%کامبیز صدیقی کسمایی%': 179, '<$$%صامت بروجردی%': 250, '<$غزل$%رهی معیری%': 197, '<$قصاید$%رشیدالدین وطواط%': 356, '<%خواجوی کرمانی%': 1306, '<%جلال الدین محمد مولوی%': 789, '<$$%احمد شاملو%': 309, '<%ابوسعید ابوالخیر%': 871, '<%سعدی شیرازی%': 933, '<$غزل$%محتشم کاشانی%': 929, '<$ترجیع$': 108, '<%اِ لیـــار    (جبار محمدی )%': 429, '<$غزل$%کمال خجندی%': 1085, '<%خاقانی شروانی%': 500, '<$$$%اشعار ترانه\u200cهای سیاوش قمیشی%': 175, '<%اوحدی%': 1325, '<$$%فخرالدین اسعد گرگانی%': 137, '<%جامی%': 1002, '<%کمال\u200cالدین اسماعیل%': 1617, '<%احمد شاملو%': 322, '<%سلمان ساوجی%': 1261, '<$مقطعات$%عبید زاکانی%': 41, '<$رباعی$%امام خمینی%': 117, '<$قصاید$%قاآنی%': 540, '<$مثنوی$%ملک\u200cالشعرای بهار%': 83, '<%مهستی گنجوی%': 215, '<$$%فروغ فرخزاد%': 121, '<$غزل$%ملا هادی سبزواری%': 186, '<%قاآنی%': 830, '<$ترکیب$%وحشی%': 11, '<$غزل$%انوری ابیوردی%': 248, '<%رشیدالدین وطواط%': 579, '<$$%اسدی توسی%': 143, '<%سیاوش کسرایی%': 167, '<%کسایی%': 113, '<$مقطعات$': 985, '<$$%سایه%': 172, '<$قصاید$%سنایی%': 408, '<$قصاید$%عنصری%': 219, '<%کامبیز صدیقی کسمایی%': 180, '<$غزل$%عرفی شیرازی%': 134, '<%عطار نیشابوری%': 457, '<$قطعه$%سعدی%': 21, '<%شیخ بهایی%': 274, '<$رباعی$%امیرمعزی%': 174, '<$مقطعات$%کمال خجندی%': 97, '<$$%فریدون مشیری%': 260, '<$غزل$%حافظ%': 495, '<%فریدون مشیری%': 276, '<$رباعی$%مسعود سعد سلمان%': 397, '<$غزل$%امام خمینی%': 149, '<$$%اوحدی%': 186, '<%ملک\u200cالشعرای بهار%': 1104, '<%محتشم کاشانی%': 1296, '<$$%نظامی%': 330, '<$$%رودکی%': 282, '<$$%%': 168, '<$$%سیاوش کسرایی%': 160, '<$مثنوی$%امیرخسرو دهلوی%': 152, '<$رباعی$%کمال\u200cالدین اسماعیل%': 867, '<$غزل$%قاآنی%': 89, '<%مهدی سهیلی%': 61, '<%ازرقی هروی%': 182, '<$غزل$%جلال الدین محمد مولوی%': 763, '<$$%امیرخسرو دهلوی%': 101, '<$$%شیخ محمود شبستری%': 117, '<%رضی\u200cالدین آرتیمانی%': 232, '<$$%جامی%': 960, '<$مفردات$%سعدی%': 104, '<%محمدرضا شفیعی کدکنی%': 214, '<$غزل$%وحشی بافقی%': 215, '<$$%سلمان ساوجی%': 89, '<$قطعه$%شاه نعمت\u200cالله ولی%': 134, '<$غزل$%خاقانی%': 401, '<$غزل$%عرفی%': 571, '<$غزل$%اِ لیـــار    (جبار محمدی )%': 132, '<$قصاید$%ناصرخسرو قبادیانی%': 281, '<$غزل$%عبدالقادر گیلانی%': 73, '<$رباعی$%ابن حسام خوسفی%': 99, '<$رباعی$%شیخ بهایی%': 106, '<$مثنوی$': 1208, '<%فاضل نظری%': 14, '<$رباعی$%سعدی%': 202, '<$ربااعی$%فیض کاشانی%': 70, '<$مقطعات$%رشیدالدین وطواط%': 121, '<%سایه%': 327, '<$$%امام خمینی%': 34, '<$$%هجویری%': 190, '<%احمد پروین%': 153, '<%ملک الشعرای بهار%': 288, '<$قصاید$%امیرمعزی%': 467, '<$غزل$%عراقی%': 569, '<$قصاید$%ظهیر فاریابی%': 80, '<$رباعی$%شاه نعمت\u200cالله ولی%': 322, '<$چهارپاره$%ملک\u200cالشعرای بهار%': 7, '<$$%عراقی%': 28, '<$$%وحشی%': 121, '<%فیض کاشانی%': 1524, '<$$%خاقانی%': 349, '<$مقطعات$%مسعود سعد سلمان%': 140, '<$$%سنایی%': 480, '<%امیرمعزی%': 741, '<$غزل$%رضی\u200cالدین آرتیمانی%': 114, '<%صامت بروجردی%': 384, '<$رباعی$%عرفی%': 124, '<$$%رهی معیری%': 46, '<$قصاید$%ملک الشعرای بهار%': 224, '<$رباعی$%حافظ شیرازی%': 25, '<$قصاید$%سعدی%': 85, '<$مثنوی$%شیخ بهایی%': 28, '<$رباعی$%هاتف اصفهانی%': 60, '<$غزل$%سعدی شیرازی%': 857, '<%%': 175, '<$غزل$%ابن حسام خوسفی%': 305, '<$رباعی$%داوود ملک\u200cزاده%': 84, '<$رباعی$%وحشی%': 66, '<%نصرالله منشی%': 249, '<$رباعی$%خیام%': 321, '<$غزل$%مولانا خالد نقشبندی%': 58, '<%فایز دشتستانی%': 111, '<$قصیده$': 156, '<$$%محمدرضا شفیعی کدکنی%': 195, '<$قصیده$%ایرج میرزا%': 35, '<%رودکی%': 538, '<%باباافضل کاشانی%': 236, '<%سیمین بهبهانی%': 226, '<$$%قاآنی%': 149, '<$غزل$%وحشی%': 400, '<%ایرج میرزا%': 212, '<$رباعی$%همام تبریزی%': 99, '<$غزل$%همام تبریزی%': 219, '<%خواجه عبدالله انصاری%': 261, '<%سهراب سپهری%': 135, '<$مثنوی$%قدسی مشهدی%': 34, '<%امام خمینی%': 304, '<$قصاید$%کمال\u200cالدین اسماعیل%': 192, '<$رباعی$%سنایی%': 421, '<$$%فرخی سیستانی%': 48, '<$غزل$%سنایی غزنوی%': 273, '<$مفردات$%شاه نعمت\u200cالله ولی%': 283, '<%عارف قزوینی%': 35, '<$$%کسایی%': 106, '<$غزل$%انوری%': 326, '<$قصاید$%خاقانی%': 233, '<%عبدالقهّار عاصی%': 87, '<%ابن حسام خوسفی%': 406, '<$رباعی$%رودکی سمرقندی%': 25, '<$رباعی$%ازرقی هروی%': 107, '<%همام تبریزی%': 381, '<$غزل$%قدسی مشهدی%': 459, '<$$%حمید مصدق%': 115, '<$رباعی$%حافظ%': 42, '<$$%احمد پروین%': 14, '<$$%ناصصرخسرو%': 95, '<%انوری ابیوردی%': 406, '<$رباعی$%عبید زاکانی%': 76, '<$مثنوی$%همام تبریزی%': 15, '<$رباعی$%عنصری%': 77, '<%عبدالقادر گیلانی%': 73, '<$$%سهراب سپهری%': 130, '<$$%بهرام سالکی%': 19, '<$رباعی$%خاقانی شروانی%': 25, '<$مثنوی$%ایرج میرزا%': 37, '<%محمدحسن بارق شفیعی%': 47, '<%ابوالقاسم فردوسی%': 27, '<%رهی معیری%': 311, '<%رودکی سمرقندی%': 296, '<$$%هلالی جغتایی%': 51, '<$قصاید$%عبید زاکانی%': 62, '<$رباعی$%مهستی گنجوی%': 190, '<$$%ملک\u200cالشعرای بهار%': 405, '<$رباعی$%عبدالقهّار عاصی%': 37, '<$قصاید$%رودککی%': 128, '<$قصاید$%انوری ابیوردی%': 87, '<$$%نادر نادرپور%': 267, '<%پروین اعتصامی%': 438, '<%فخرالدین اسعد گرگانی%': 137, '<$$%خاقانی شروانی%': 53, '<%باقر فداغی لارستانی%': 105, '<$شعر نو$%ملک\u200cالشعرای بهار%': 4, '<%وحشی بافقی%': 303, '<$$%مهدی اخوان ثالث%': 103, '<$رباعی$%اوحدی%': 184, '<$$%شاه نعمت\u200cالله ولی%': 274, '<%مولانا خالد نقشبندی%': 151, '<$غزل$%سلطان باهو%': 53, '<$$%سیمین بهبهانی%': 215, '<$$%رودکی سمرقندی%': 109, '<%اوحدی مراغه ای%': 514, '<$$%پژمان بختیاری%': 31, '<$$%عنصری%': 181, '<$غزل$%سایه%': 125, '<$رباعی$%خلیل الله خلیلی%': 31, '<$ترکیب$%محتشم کاشانی%': 16, '<%شیخ محمود شبستری%': 125, '<$غزل$%صادق سرمد%': 3, '<$رباعی$%خیام نیشابوری%': 72, '<$قطعه$%محتشم کاشانی%': 12, '<$مثنوی$%ملک الشعرای بهار%': 5, '<%نظامی%': 377, '<$قصاید$%وحشی%': 41, '<$قصاید$%محتشم کاشانی%': 95, '<%اسدی توسی%': 143, '<%عمان سامانی%': 49, '<$قصاید$%منوچهری دامغانی%': 79, '<%فروغ فرخزاد%': 123, '<$غزل$%سید حمیدرضا برقعی%': 10, '<$مقطعات$%انوری%': 479, '<$$%نظامی گنجوی%': 110, '<%وحدت کرمانشاهی%': 70, '<$مقطعات$%هاتف اصفهانی%': 18, '<%نظامی گنجوی%': 125, '<$ترکیب$': 276, '<$قصاید$%ملک\u200cالشعرای بهار%': 310, '<%سلطان باهو%': 53, '<$رباعی$%سلمان ساوجی%': 145, '<$قصاید$%ازرقی هروی%': 65, '<$مفردات$%همام تبریزی%': 46, '<$$%سعدالدین وراوینی%': 69, '<%زرتشت%': 93, '<$$%محمدحسن بارق شفیعی%': 47, '<$مسمطات$': 53, '<%کارو%': 48, '<$مثنوی$%رودکی سمرقندی%': 38, '<$رباعی$%محتشم کاشانی%': 112, '<$$%فایز دشتستانی%': 111, '<$ترکیب$%رشیدالدین وطواط%': 7, '<$قصاید$%شاه نعمت\u200cالله ولی%': 34, '<$قطعه$%هلالی جغتایی%': 10, '<$مثنوی$%بهرام سالکی%': 92, '<$$%هاتف اصفهانی%': 99, '<$رباعی$%باباافضل کاشانی%': 216, '<$قطعه$%رهی معیری%': 30, '<%خسرو گلسرخی%': 53, '<$$%قدسی مشهدی%': 74, '<$قطعه$%ملک\u200cالشعرای بهار%': 20, '<$غزل$%شیخ بهایی%': 51, '<%شیون فومنی%': 118, '<$غزل$%اقبال لاهوری%': 50, '<$غزل$%کمال\u200cالدین اسماعیل%': 161, '<$ترکیب$%نظامی%': 17, '<$رباعی$%سنایی غزنوی%': 25, '<$طنز$%%': 1, '<$رباعی$%مل��\u200cالشعرای بهار%': 71, '<$مفردات$%کمال خجندی%': 8, '<$غزل$%جامی%': 14, '<$رباعی$%رشیدالدین وطواط%': 36, '<$غزل$%شاطرعباس صبوحی%': 81, '<$تضمین$': 36, '<$غزل$%صامت بروجردی%': 77, '<$$%امیرمعزی%': 31, '<$قصاید$%انوری%': 208, '<$مثنوی$%عبید زاکانی%': 4, '<$غزل$%امیرمعزی%': 64, '<$رباعی$%فروغی بسطامی%': 35, '<$قطعه$%فرخی سیستانی%': 12, '<$$%باقر فداغی لارستانی%': 104, '<%پژمان بختیاری%': 31, '<$غزل$%احمد پروین%': 128, '<%داوود ملک\u200cزاده%': 87, '<$رباعی$%ظهیر فاریابی%': 100, '<$معمیات$%کمال خجندی%': 9, '<$تصنیف$%عطار%': 19, '<$ترکیب$%ازرقی هروی%': 1, '<$$%مهدی سهیلی%': 59, '<$رباعی$%عرفی شیرازی%': 25, '<$تصنیف$': 119, '<%حمید مصدق%': 122, '<$ترکیب$%خاقانی%': 10, '<$ترجیع$%حمید مصدق%': 1, '<%ملا هادی سبزواری%': 208, '<$قطعه$%مولانا خالد نقشبندی%': 45, '<$مثنوی$%سعدی%': 46, '<$$%زرتشت%': 92, '<$ترجیع$%اوحدی مراغه ای%': 1, '<$قطعه$%سیمین بهبهانی%': 2, '<$قصاید$%رودکی سمرقندی%': 124, '<$$%شاطرعباس صبوحی%': 16, '<$قصاید$%پروین اعتصامی%': 83, '<$مفردات$%رضی\u200cالدین آرتیمانی%': 9, '<$$%سعدی شیرازی%': 34, '<$مقطعات$%انوری ابیوردی%': 47, '<$$%کارو%': 46, '<$رباعی$%وحشی بافقی%': 24, '<$غزل$%نجمه زارع%': 33, '<$غزل$%رشیدالدین میبدی%': 8, '<$ترکیب$%عطار%': 20, '<$$%خسرو گلسرخی%': 53, '<$چهارپاره$': 12, '<%سعدالدین وراوینی%': 80, '<$قطعه$%ایرج میرزا%': 88, '<$رباعی$%ملک الشعرای بهار%': 22, '<$قصاید$%عطار%': 30, '<$$%وحشی بافقی%': 43, '<$مثنوی$%سایه%': 9, '<$رباعی$%شیون فومنی%': 8, '<$$%حکیم نزاری قهستانی%': 46, '<$قصیده$%جامی%': 8, '<%شاطرعباس صبوحی%': 97, '<%خلیل\u200cالله خلیلی%': 53, '<$ترکیب$%امیرمعزی%': 2, '<$$%آیت الله حسین نوری همدانی%': 71, '<$غزل$%ملک\u200cالشعرای بهار%': 136, '<$مثنوی$%رودکی%': 90, '<$ترکیب$%نظامی گنجوی%': 5, '<$$%مصطفی مجیدی%': 9, '<%منوچهری دامغانی%': 97, '<$$%شیخ بهایی%': 68, '<$قطعه$%حافظ شیرازی%': 34, '<$رباعی$%خلیل\u200cالله خلیلی%': 53, '<%کسایی مروزی%': 58, '<$رباعی$%فرخی سیستانی%': 36, '<$تصنیف$%شیخ محمود شبستری%': 3, '<$$%کسایی مروزی%': 52, '<$$%صادق سرمد%': 27, '<$معمیات$': 9, '<$قصیده$%نظامی گنجوی%': 3, '<%محمدعلی بهمنی%': 27, '<$قصاید$%صائب تبریزی%': 45, '<$قصیده$%عراقی%': 2, '<$مثنوی$%مولانا خالد نقشبندی%': 4, '<$قطعه$%احمد شاملو%': 1, '<$$%عطار نیشابوری%': 25, '<$قصاید$%کمال خجندی%': 4, '<$مثنوی$%مسعود سعد سلمان%': 23, '<$قطعه$%کارو%': 2, '<$غزل$%ملک الشعرای بهار%': 28, '<$مسمطات$%قاآنی%': 6, '<$مثنوی$%وحشی%': 7, '<$قصاید$%باباافضل کاشانی%': 6, '<$قطعه$%رشیدالدین میبدی%': 28, '<$$%ظهیر فاریابی%': 104, '<$قطعه$%مهدی سهیلی%': 1, '<%صادق سرمد%': 33, '<$$%شیون فومنی%': 68, '<$غزل$%محمدرضا شفیعی کدکنی%': 7, '<$مثنوی$%شاه نعمت\u200cالله ولی%': 85, '<$رباعی$%هلالی جغتایی%': 35, '<$قطعه$%کمال\u200cالدین اسماعیل%': 10, '<$ترکیب$%ایرج میرزا%': 2, '<$$%صادق هدایت%': 11, '<$$%عبید زاکانی%': 35, '<$مثنوی$%کمال\u200cالدین اسماعیل%': 2, '<$قصیده$%آیت الله حسین نوری همدانی%': 8, '<$$%ابوالقاسم فردوسی%': 27, '<$رباعی$%صامت بروجردی%': 1, '<$قطعه$%ظهیر فاریابی%': 2, '<$غزل$%رشیدالدین وطواط%': 45, '<%خلیل الله خلیلی%': 31, '<$$%نجمه زارع%': 2, '<$$%شهریار%': 26, '<$مخمسات$': 2, '<$رباعی$%سیف فرغانی%': 22, '<$قصیده$%بیدل دهلوی%': 4, '<$مفردات$%مولانا خالد نقشبندی%': 24, '<$قصاید$%خاقانی شروانی%': 83, '<%آیت الله حسین نوری همدانی%': 85, '<$قصاید$%صامت بروجردی%': 32, '<$ترکیب$%قاآنی%': 14, '<$غزل$%سیاوش کسرایی%': 5, '<$تصنیف$%عارف قزوینی%': 35, '<$ترجیع$%ملک\u200cالشعرای بهار%': 9, '<$قصاید$%منوچهری%': 78, '<%مهدی اخوان ثالث%': 115, '<$غزل$%مسعود سعد سلمان%': 34, '<%خیام نیشابوری%': 72, '<$ترجیع$%عطار%': 2, '<$قصیده$%فیض کاشانی%': 5, '<$$%شاه اسماعیل صفوی ( خطایی )%': 30, '<$قصاید$%عراقی%': 40, '<$قصاید$%هاتف اصفهانی%': 16, '<$$%محمدعلی بهمنی%': 17, '<$ترجیع$%سلمان ساوجی%': 3, '<%مصطفی مجیدی%': 9, '<$مثنوی$%محتشم کاشانی%': 22, '<$ترجیع$%خاقانی%': 7, '<$شعر نو$%اِ لیـــار    (جبار محمدی )%': 9, '<$شعر نو$%فرخی سیستانی%': 4, '<$ترکیب$%سعدالدین وراوینی%': 7, '<$$%مسعود سعد سلمان%': 28, '<$طنز$%بهرام سالکی%': 3, '<%نیما یوشیج%': 54, '<$ررباعی$%وحدت کرمانشاهی%': 8, '<$طنز$%احمد شاملو%': 1, '<$قصاید$%عبدالواسع جبلی%': 13, '<$طنز$%جامی%': 4, '<$غزل$%نظامی%': 20, '<$رباعی$%سعدی شیرازی%': 26, '<$غزل$%عبدالقهّار عاصی%': 17, '<$مقطعات$%شیخ بهایی%': 20, '<$رباعی$%جلال الدین محمد مولوی%': 25, '<$ترکیب$%%عراقی%': 4, '<$ترجیع$%مولوی%': 37, '<$ترجیع$%رشیدالدین وطواط%': 14, '<$قصیده$%کمال\u200cالدین اسماعیل%': 3, '<$$%سید حمیدرضا برقعی%': 8, '<$$%اِ لیـــار    (جبار محمدی )%': 24, '<%صادق هدایت%': 17, '<$مقطعات$%ازرقی هروی%': 8, '<$ترجیع$%امیرمعزی%': 3, '<$مسمطات$$%سنایی غزنوی%': 3, '<$رباعی$%رودکی%': 38, '<$رباعی$%انوری ابیوردی%': 24, '<$رباعی$%رهی معیری%': 38, '<$ترکیب$%اقبال لاهوری%': 2, '<$ترجیع$%هاتف اصفهانی%': 1, '<$مسمطات$%منوچهری دامغانی%': 9, '<$$%حافظ%': 18, '<$قطعه$%حافظ%': 33, '<$قصاید$%عطار نیشابوری%': 14, '<$$%ملک الشعرای بهار%': 5, '<$غزل$%احمد شاملو%': 5, '<$مثنوی$%مولوی%': 20, '<$ترجیع$%فرخی سیستانی%': 3, '<$تصنیف$%ملک\u200cالشعرای بهار%': 15, '<$ترکیب$%رشیدالدین میبدی%': 15, '<%نجمه زارع%': 36, '<$غزل$%سیمین بهبهانی%': 9, '<$مثنوی$%عراقی%': 20, '<$قصاید$%امیرخسرو دهلوی%': 12, '<%عبدالواسع جبلی%': 13, '<$رباعی$%ملا هادی سبزواری%': 15, '<$رباعی$%اوحدی مراغه ای%': 25, '<$$%وحدت کرمانشاهی%': 2, '<$قصیده$%هاتف اصفهانی%': 4, '<$قصاید$%هلالی جغتایی%': 4, '<$قصیده$%انوری%': 4, '<$قصیده$%پروین اعتصامی%': 2, '<$رباعی$%قاآنی%': 28, '<$مثنوی$%عمان سامانی%': 1, '<$مسمطات$%منوچهری%': 9, '<$ترکیب$%صادق هدایت%': 3, '<$ترکیب$%سنایی%': 11, '<$شعر نو$': 30, '<$مسمطات$%ملک\u200cالشعرای بهار%': 20, '<$چهارپاره$%عبدالقهّار عاصی%': 4, '<$مثنوی$%وحشی بافقی%': 6, '<$غزل$%حمید مصدق%': 3, '<$ترکیبب$%جامی%': 4, '<$$%ملا هادی سبزواری%': 7, '<$غزل$%مهدی اخوان ثالث%': 8, '<$ترکیب$%هجویری%': 11, '<$$%ایرج میرزا%': 23, '<%شاه اسماعیل صفوی ( خطایی )%': 30, '<$مقطعات$%عراقی%': 12, '<$طنز$': 25, '<$قصیده$%خاقانی%': 4, '<$غزل$%فریدون مشیری%': 12, '<$ترکیب$%مولوی%': 11, '<$تصنیف$%نادر نادرپور%': 1, '<$$%عبدالقهّار عاصی%': 26, '<$قصیده$%صائب تبریزی%': 1, '<$ترکیب$%ملک\u200cالشعرای بهار%': 15, '<$مثنوی$%ظهیر فاریابی%': 2, '<$$%حافظ شیرازی%': 19, '<$ترکیب$%محمدرضا شفیعی کدکنی%': 2, '<$رباعی$%سایه%': 14, '<$ترکیب$%سلمان ساوججی%': 15, '<$$%مولانا خالد نقشبندی%': 10, '<$$%مهستی گنجوی%': 25, '<$غزل$%نظامی گنجوی%': 6, '<$ترکیب$%کمال\u200cالدین اسماعیل%': 15, '<$ترکیب$%شیخ محمود شبستری%': 3, '<$غزل$%بهرام سالکی%': 24, '<%سید حمیدرضا برقعی%': 20, '<$شعر نو$%انوری%': 1, '<$ترجیع$%محمدرضا شفیعی کدکنی%': 4, '<$مثنوی$%احمد پروین%': 10, '<$رباعی$%مهدی اخوان ثالث%': 2, '<$ترکیب$%سعدی%': 4, '<$قصاید$%سعدی شیرازی%': 5, '<$$%فاضل نظری%': 14, '<$ترجیع$%حکیم نزاری قهستانی%': 1, '<$قطعه$%صائب تبریزی%': 1, '<$رباعی$%ایرج میرزا%': 7, '<$طنز$%مهدی اخوان ثالث%': 1, '<$مقطعات$%رشیدالدین میبدی%': 2, '<$ترکیب$%عبید زاکانی%': 5, '<$غزل$%اشعار ترانه\u200cهای سیاوش قمیشی%': 4, '<$قصیده$%سنایی%': 3, '<$قصیده$%عطار%': 1, '<$غزل$%باباافضل کاشانی%': 14, '<$غزل$%منوچهری%': 2, '<$قصاید$%رضی\u200cالدین آرتیمانی%': 6, '<$ترکیب$%مسعود سعد سلمان%': 5, '<$غزل$%کسایی%': 4, '<$قصیده$%نظامی%': 5, '<$ترکیب$%ملک الشعرای بهار%': 2, '<$تصنیف$%سنایی%': 26, '<$طنز$%کمال\u200cالدین اسماعیل%': 1, '<$ترکیب$%نصرالله منشی%': 7, '<$ترکیب$%همام تبریزی%': 1, '<$طنز$%نظامی%': 3, '<$تصنیف$%مولوی%': 3, '<$قصاید$%وحشی بافقی%': 11, '<$غزل$%ظهیر فاریابی%': 10, '<$قطعه$%ملک الشعرای بهار%': 1, '<$تضمین$%رشیدالدین میبدی%': 1, '<$ترجیع$%عراقی%': 4, '<$رباعی$%محمدرضا شفیعی کدکنی%': 6, '<$قصیده$%احمد شاملو%': 6, '<$قطعه$%نصرالله منشی%': 1, '<$غزل$%پروین اعتصامی%': 6, '<$مفردات$%سعدی شیرازی%': 10, '<$قطعه$%خاقانی%': 6, '<$قصیده$%کمال خجندی%': 3, '<$غزل$%سهراب سپهری%': 1, '<$قصیده$%هجویری%': 1, '<$قطعه$%صامت بروجردی%': 2, '<$غزل$%ایرج میرزا%': 19, '<$مثنوی$%اقبال لاهوری%': 2, '<$مثنوی$%شیخ محمود شبستری%': 2, '<$قصیده$%سلمان ساوجی%': 2, '<$قصاید$%جامی%': 6, '<$تضمین$%حکیم نزاری قهستانی%': 2, '<$تصنیف$%وحشی بافقی%': 1, '<$شعر نو$%کمال\u200cالدین اسماعیل%': 1, '<$غزل$%فرخی سیستانی%': 2, '<$قصیده$%وحشی%': 1, '<$رباعی$%منوچهری دامغانی%': 7, '<$رباعی$%منوچهری%': 7, '<$قصیده$%صامت بروجردی%': 1, '<$غزل$%سعدالدین وراوینی%': 3, '<$قصاید$%عمان سامانی%': 8, '<$قصیده$%فریدون مشیری%': 2, '<$تصنیف$%وحشی%': 2, '<$طنز$%رشیدالدین میبدی%': 4, '<$قصیده$%شیون فومنی%': 1, '<$قصیده$%فروغ فرخزاد%': 1, '<$ترکیب$%زرتشت%': 1, '<$قصیده$%سیف فرغانی%': 2, '<$قصیده$%ظهیر فاریابی%': 3, '<$قصیده$%ملک\u200cالشعرای بهار%': 8, '<$ترکیب$%صامت بروجردی%': 3, '<$مثنوی$%اوحدی%': 5, '<$ترکیب$%حافظ%': 2, '<$ترجیع$%رشیدالدین میبدی%': 1, '<$تضمین$%صادق سرمد%': 1, '<$رباعی$%ناصرخسرو قبادیانی%': 4, '<$قطعه$%آیت الله حسین نوری همدانی%': 5, '<$قصاید$%اوحدی مراغه ای%': 5, '<$ترجیع$%سنایی%': 2, '<$طنز$%هجویری%': 1, '<$مثنوی$%سلمان ساوجی%': 2, '<$مثنوی$%نجمه زارع%': 1, '<$قطعه$%سهراب سپهری%': 2, '<$ترجیع$%عبید زاکانی%': 2, '<$قصیده$%قاآنی%': 1, '<$مثنوی$%رشیدالدین میبدی%': 2, '<$قطعه$%سایه%': 7, '<$قصیده$%وحشی بافقی%': 1, '<$طنز$%ملک\u200cالشعرای بهار%': 1, '<$غزل$%محمدعلی بهمنی%': 10, '<$شعر نو$%قاآنی%': 2, '<$شعر نو$%اوحدی%': 1, '<$غزل$%کسایی مروزی%': 3, '<$رباعی$%رشیدالدین میبدی%': 3, '<$تصنیف$%سعدی%': 1, '<$رباعی$%جامی%': 1, '<$غزل$%نادر نادرپور%': 3, '<$قصیده$%حمید مصدق%': 3, '<$قصیده$%باباطاهر%': 1, '<$رباعی$%کسایی مروزی%': 3, '<$قطعه$%شیخ بهایی%': 1, '<$ترکیب$%عبدالقهّار عاصی%': 1, '<$ترکیب$%وحشی بافقی%': 2, '<$تصنیف$%همام تبریزی%': 1, '<$ترکیب$%اوحدی%': 4, '<$قصیده$%محتشم کاشانی%': 4, '<$قصیده$%مسعود سعد سلممان%': 2, '<$ترکیب$%انوری%': 2, '<$قصاید$%نظامی%': 2, '<$$%اوحدی مراغه ای%': 5, '<$غزل$%%': 2, '<$قطعه$%خاقانی شروانی%': 1, '<$قصاید$%مولانا خالد نقشبندی%': 5, '<$قصیده$%نصرالله منشی%': 1, '<$شعر نو$%عطار%': 1, '<$مسمطات$%سنایی%': 2, '<$$%رضی\u200cالدین آرتیمانی%': 2, '<$طنز$%مولوی%': 5, '<$تضمین$%فروغی بسطامی%': 11, '<$غزل$%مهدی سهیلی%': 1, '<$رباعی$%صادق هدایت%': 1, '<$ترجیع$%امام خمینی%': 1, '<$تصنیف$%هجویری%': 4, '<$ترکیب$%ظهیر فاریابی%': 4, '<$مثنوی$%عبدالقهّار عاصی%': 2, '<$قصیده$%جلال الدین محمد مولوی%': 1, '<$$مسمطات$%مسعود سعد سلمان%': 4, '<$غزل$%هجویری%': 1, '<$غزل$%ازرقی هروی%': 1, '<$تصنیف$%صادق هدایت%': 2, '<$غزل$%آیت الله حسین نوری همدانی%': 1, '<$قصیده$%مولوی%': 2, '<$شعر نو$%صامت بروجردی%': 1, '<$ترکیب$%ناصرخسرو%': 4, '<$قطعه$%سعدی شیرازی%': 1, '<$قصیده$%احمد پروین%': 1, '<$قصاید$%حافظ%': 3, '<$قصیده$%داوود ملک\u200cزاده%': 2, '<$قصیده$%صادق سرمد%': 2, '<$قطعه$%شهریار%': 1, '<$شعر نو$%کمال خجندی%': 2, '<$تضمین$%خاقانی%': 1, '<$ترکیب$%نادر نادرپور%': 2, '<$قصیده$%عرفی%': 2, '<$رباعی$%ناصرخسرو%': 4, '<$مثنوی$%جامی%': 3, '<$ترجیع$%شاه نعمت\u200cالله ولی%': 4, '<$ترجیع$%سعدی%': 1, '<$قصیده$%خیام%': 1, '<$قصاید$%هجویری%': 1, '<$قصاید$%نظامی ��نجوی%': 1, '<$تصنیف$%جامی%': 1, '<$مثنوی$%باقر فداغی لارستانی%': 1, '<$ترجیع$%ابن حسام خوسفی%': 1, '<$قطعه$%سعدالدین وراوینی%': 1, '<$ترجیع$%اوحدی%': 2, '<$رباعی$%عطار%': 2, '<$قصاید$%حافظ شیرازی%': 3, '<$رباعی$%کسایی%': 3, '<$قطعه$%عطار%': 1, '<$غزل$%کامبیز صدیقی کسمایی%': 1, '<$غزل$%منوچهری دامغانی%': 2, '<$غزل$%داوود ملک\u200cزاده%': 1, '<$قصیده$%سیاوش کسرایی%': 1, '<$تصنیف$%نصرالله منشی%': 1, '<$قصیده$%حافظ%': 1, '<$ترکیب$%ابن حسام خوسفی%': 1, '<$مثنوی$%قاآنی%': 1, '<$قصیده$%سعدی%': 1, '<$مثنوی$%عنصری%': 1, '<$شعر نو$%مولوی%': 1, '<$مفردات$%رشیدالدین میبدی%': 1, '<$ترکیب$%سهراب سپهری%': 1, '<$قطعه$%جامی%': 1, '<$ترجیع$%بهرام سالکی%': 1, '<$قصاید$%%': 1, '<$$%کمال خجندی%': 1, '<$مثنوی$%سید حمیدرضا برقعی%': 1, '<$تضمین$%نصرالله منشی%': 1, '<$رباعی$%مولانا خالد نقشبندی%': 3, '<$غزل$%فروغ فرخزاد%': 1, '<$قطعه$%نادر نادرپور%': 1, '<$مثنوی$%اِ لیـــار    (جبار محمدی )%': 1, '<$شعر نو$%خاقانی%': 1, '<$مفردات$$%ناصرخسرو%': 1, '<$ترکیب$%%': 2, '<$قصیده$%سید حمیدرضا برقعی%': 1, '<$قصاید$%ایرج میرزا%': 1, '<$$%منوچهری%': 1, '<$$%ناصرخسرو قبادیانی%': 1, '<$قصیده$%مهدی اخوان ثالث%': 1, '<$چهارپاره$%ملک الشعرای بهار%': 1, '<$تصنیف$%هلالی جغتایی%': 1, '<$قطعه$%سیاوش کسرایی%': 1, '<$تضمین$%عطار%': 1, '<$تضمین$%فریدون مشیری%': 1, '<$مثنوی$%صائب تبریزی%': 1, '<$تصنیف$%رشیدالدین میبدی%': 2, '<$ترجیع$%صائب تبریزی%': 1, '<$قصیده$%امیرخسرو دهلوی%': 2, '<$$%خیام%': 1, '<$شعر نو$%فریدون مشیری%': 1, '<$مخمسات$%مولانا خالد نقشبندی%': 2, '<$قصیده$%فروغی بسطامی%': 1, '<$تصنیف$%سهراب سپهری%': 1, '<$ترجیع$%رضی\u200cالدین آرتیمانی%': 1, '<$قصیده$%عرفی شیرازی%': 1, '<$شعر نو$%اشعار ترانه\u200cهای سیاوش قمیشی%': 1, '<$مثنوی$%%': 1, '<$ترجیع$%وحشی%': 1}
@@ -69,8 +76,7 @@ stop_sequences = [] #["<|endoftext|>",">"]
 
 client = InferenceClient(
     API_URL,
-    headers={"Authorization": f"Bearer {HF_TOKEN}",
-            "library_version": f"{REVISION}"},
+    headers={"Authorization": f"Bearer {HF_TOKEN}"},
 )
 
 def asynchronous_push(f_stop):
@@ -126,8 +132,11 @@ def generate(
     )
     #seed = seed + 1
     formatted_prompt = format_prompt(prompt, history, system_prompt)
-
-    stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=False, details=True, return_full_text=False)
+    
+    if len(ENDPOINT)>0:
+        stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
+    else:
+        stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=False, details=True, return_full_text=False)
     output = ""
 
     for response in stream:
@@ -142,7 +151,6 @@ def generate(
     
     return output
 
-
 additional_inputs=[
     gr.Textbox("", label="Optional system prompt"), #<|endoftext|>
     gr.Slider(
@@ -223,7 +231,7 @@ def evolve_text(x):
         max_new_tokens=10, 
         top_p=additional_inputs[3].value, 
         repetition_penalty=additional_inputs[4].value, 
-        seed=42,
+        #seed=42,
     )][-1]) #TODO: need a smarter way to do this
 
     return possible_generation