Update app.py

app.py

@@ -19,6 +19,9 @@ import io
 from transformers import AutoTokenizer, AutoModel
 from utils import best_text_choice
 
+import httpx
+import asyncio
+
 tokenizer = AutoTokenizer.from_pretrained("ai-forever/ru-en-RoSBERTa")
 model = AutoModel.from_pretrained("ai-forever/ru-en-RoSBERTa")
 # Load the DataFrame used in the best_text_choice function
@@ -37,24 +40,24 @@ morph = pymorphy3.MorphAnalyzer()
 
 # Авторизация в GigaChat Pro
 gc_key = os.getenv('GC_KEY')
-chat_pro = GigaChat(credentials=gc_key, model='GigaChat', max_tokens=68, temperature=1.15, verify_ssl_certs=False)
-chat_pro = GigaChat(
-   credentials=gc_key,
-   model='GigaChat-Pro-preview',
-   base_url='https://gigachat-preview.devices.sberbank.ru/api/v1/',
-   max_tokens=68,
-   temperature=1.15,
-   verify_ssl_certs=False
-)
-
-chat_pro_check = GigaChat(
-    credentials=gc_key,
-    model='GigaChat-Pro-preview',
-    base_url='https://gigachat-preview.devices.sberbank.ru/api/v1/',
-    max_tokens=3000,
-    temperature=0.8,
-    verify_ssl_certs=False
-)
+#chat_pro = GigaChat(credentials=gc_key, model='GigaChat', max_tokens=68, temperature=1.15, verify_ssl_certs=False)
+#chat_pro = GigaChat(
+#   credentials=gc_key,
+#   model='GigaChat-Pro-preview',
+#   base_url='https://gigachat-preview.devices.sberbank.ru/api/v1/',
+#   max_tokens=68,
+#   temperature=1.15,
+#   verify_ssl_certs=False
+#)
+
+#chat_pro_check = GigaChat(
+#    credentials=gc_key,
+#    model='GigaChat-Pro-preview',
+#    base_url='https://gigachat-preview.devices.sberbank.ru/api/v1/',
+#    max_tokens=3000,
+#    temperature=0.8,
+#    verify_ssl_certs=False
+#)
 
 approach_stats = {
     "Начни сообщение с призыва к действию с продуктом. Не начинай с вопроса.": {"failed_checks": defaultdict(int), "total_attempts": 0},
@@ -189,12 +192,21 @@ def clean_message(message):
 #        return f"Ошибка при обращении к GigaChat-Pro: {e}"
 
 #def generate_message_mistral_generate(prompt, max_retries=5):
-def generate_message_mistral_generate(prompt):
+async def generate_message_mistral_generate(prompt):
     try:
-        messages = [SystemMessage(content=prompt)]
-        res = chat_pro(messages)
-        cleaned_message = clean_message(res.content.strip())
-        return cleaned_message
+        async with httpx.AsyncClient() as client:
+            response = await client.post(
+                "https://gigachat-preview.devices.sberbank.ru/api/v1/",
+                headers={
+                    "Authorization": f"Bearer {gc_key}",
+                    "Content-Type": "application/json"
+                },
+                json={"messages": [{"role": "system", "content": prompt}]}
+            )
+            response.raise_for_status()
+            res = response.json()
+            cleaned_message = clean_message(res.get("content", "").strip())
+            return cleaned_message
     except Exception as e:
         return f"Ошибка при обращении к GigaChat-Pro: {e}"
     
@@ -229,12 +241,21 @@ def generate_message_mistral_generate(prompt):
 #    return None
 
 #def generate_message_mistral_check(prompt, max_retries=5):
-def generate_message_mistral_check(prompt):    
+async def generate_message_mistral_check(prompt):
     try:
-        messages = [SystemMessage(content=prompt)]
-        res2 = chat_pro_check(messages)
-        cleaned_message = clean_message(res2.content.strip())
-        return cleaned_message
+        async with httpx.AsyncClient() as client:
+            response = await client.post(
+                "https://gigachat-preview.devices.sberbank.ru/api/v1/",
+                headers={
+                    "Authorization": f"Bearer {gc_key}",
+                    "Content-Type": "application/json"
+                },
+                json={"messages": [{"role": "system", "content": prompt}]}
+            )
+            response.raise_for_status()
+            res2 = response.json()
+            cleaned_message = clean_message(res2.get("content", "").strip())
+            return cleaned_message
     except Exception as e:
         return f"Ошибка при обращении к GigaChat-Pro: {e}"
 #    retries = 0
@@ -545,24 +566,22 @@ def notify_failed_checks(checks):
 #    return last_message
 
 
-def generate_message_mistral_with_retry(prompt, approach_name, description, key_message, product_name, benefits):
+async def generate_message_mistral_with_retry(prompt, approach_name, description, key_message, product_name, benefits):
     global approach_stats
     last_message = None
     for attempt in range(20):
         gr.Info(f"Итерация {attempt + 1}: генерируется сообщение...")
-        message = generate_message_mistral_generate(prompt)
+        message = await generate_message_mistral_generate(prompt)
         if message is None:
-            print("Не удалось получить сообщение от Mistral, повторная попытка...")
-            time.sleep(1)
+            print("Не удалось получить с��общение от GigaChat Pro, повторная попытка...")
             continue
         message = replace_k_with_thousands(message)
         message = correct_dash_usage(message)
         message_length = len(message)
         if not notify_failed_length(message_length):
             last_message = message
-            time.sleep(1)
             continue
-        checks = perform_checks(message, description, key_message, product_name, benefits)
+        checks = await perform_checks(message, description, key_message, product_name, benefits)
         last_message = message
         # Инициализируем статистику для подхода, если ее нет
         if approach_name not in approach_stats:
@@ -576,7 +595,6 @@ def generate_message_mistral_with_retry(prompt, approach_name, description, key_
         if all(checks.values()):
             return message
         prompt = append_errors_to_prompt(prompt, checks)
-        time.sleep(1)
     gr.Info("Переходим к следующему циклу итераций.")
     return last_message
 
@@ -697,7 +715,7 @@ def are_messages_equal(message1, message2):
     return message1.strip().lower() == message2.strip().lower()
 
 # Функция для постепенной генерации всех сообщений через yield
-def generate_all_messages(desc, benefits, key_message, gender, generation, psychotype, business_stage, industry, opf, product_name):
+async def generate_all_messages(desc, benefits, key_message, gender, generation, psychotype, business_stage, industry, opf, product_name):
     standard_prompt = generate_standard_prompt(desc, benefits, key_message)
     standard_prompt_for_display = f"Не изменяй название продукта: {product_name}.\n{standard_prompt}\nУбедись, что в готовом тексте без изменений, синонимов и перестановок слов используется наименование продукта: {product_name}.\n"
     approach_mapping = {
@@ -769,7 +787,7 @@ def generate_all_messages(desc, benefits, key_message, gender, generation, psych
             yield selected_approaches_text_content, standard_prompt_for_display, display_personalization_prompt, None, None
             flag += 1
         prompt = add_prefix_suffix(standard_prompt, current_prefix, current_suffix, product_name)
-        non_personalized_message = generate_message_mistral_with_retry(prompt, approach_name, desc, key_message, product_name, benefits)
+        non_personalized_message = await generate_message_mistral_with_retry(prompt, approach_name, desc, key_message, product_name, benefits)
         non_personalized_length = len(non_personalized_message)
         non_personalized_display = f"{non_personalized_message}\n------\nКоличество знаков: {non_personalized_length}"
         if non_personalized_messages:
@@ -784,7 +802,7 @@ def generate_all_messages(desc, benefits, key_message, gender, generation, psych
         # **Добавляем перегенерацию персонализированного сообщения**
         personalized_message = None
         for attempt in range(5):  # Максимум 5 попыток
-            personalized_message_candidate = generate_message_mistral_with_retry(
+            personalized_message_candidate = await generate_message_mistral_with_retry(
                 f"{personalization_prompt}\n\nТекст для адаптации: {non_personalized_message}",
                 approach_name, desc, key_message, product_name, benefits
             )
@@ -1313,7 +1331,7 @@ def check_disconnected_sentences(message):
         return None
 
 # 23. Проверка на близкие по смыслу однородные члены
-def check_synonymous_members(message):
+async def check_synonymous_members(message):
     print()
     print("Проверка 23: Проверка на близкие по смыслу однородные члены")
     print()
@@ -1327,7 +1345,7 @@ def check_synonymous_members(message):
 если таких слов или выражений нет, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}}.
 **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
+    response = await generate_message_mistral_check(prompt)
     time.sleep(3)
     print("GigaChat Pro response:", response)
     result = parse_json_response(response)
@@ -1341,7 +1359,7 @@ def check_synonymous_members(message):
 
 
 # 24. Проверка на шокирующие, экстравагантные или кликбейтные фразы
-def check_clickbait_phrases(message, description, benefits, key_message):
+async def check_clickbait_phrases(message, description, benefits, key_message):
     message_clean = cut_message(message)
     print()
     print()
@@ -1366,7 +1384,7 @@ def check_clickbait_phrases(message, description, benefits, key_message):
     
     **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
+    response = await generate_message_mistral_check(prompt)
     time.sleep(3)
     print("GigaChat Pro response:", response)
     result = parse_json_response(response)
@@ -1380,7 +1398,7 @@ def check_clickbait_phrases(message, description, benefits, key_message):
 
 
 # 25. Проверка на абстрактные заявления без поддержки фактами
-def check_abstract_claims(message, description, benefits, key_message):
+async def check_abstract_claims(message, description, benefits, key_message):
     print()
     print("Проверка 25: Проверка на абстрактные заявления без поддержки фактами")
     print()
@@ -1419,7 +1437,7 @@ def check_abstract_claims(message, description, benefits, key_message):
     
     **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
+    response = await generate_message_mistral_check(prompt)
     time.sleep(3)
     print("GigaChat Pro response:", response)
     result = parse_json_response(response)
@@ -1498,7 +1516,7 @@ def check_offensive_phrases(message):
         return None
 
 # 28. Проверка на речевые клише, рекламные штампы и канцеляризмы
-def check_cliches_and_bureaucratese(message, description, benefits, key_message):
+async def check_cliches_and_bureaucratese(message, description, benefits, key_message):
     print()
     print("Проверка 28: Проверка на речевые клише, рекламные штампы и канцеляризмы")
     print()
@@ -1531,7 +1549,7 @@ def check_cliches_and_bureaucratese(message, description, benefits, key_message)
     если в тексте **есть** такие выражения, **верни только** JSON {{"decision": true, "explanation": "<пояснение>"}}.
     **Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
+    response = await generate_message_mistral_check(prompt)
     time.sleep(3)
     print("GigaChat Pro response:", response)
     result = parse_json_response(response)
@@ -1544,7 +1562,7 @@ def check_cliches_and_bureaucratese(message, description, benefits, key_message)
         return None
 
 # 29. Проверка на соответствие описанию предложения и ключевому сообщению
-def check_no_contradictions(message, description, benefits, key_message):
+async def check_no_contradictions(message, description, benefits, key_message):
     print()
     print("Проверка 29: Проверка на отсутствие противоречий с описанием предложения")
     print()
@@ -1562,7 +1580,7 @@ def check_no_contradictions(message, description, benefits, key_message):
 Если сообщение содержит факты, которые отсутствуют в описании предложения и ключевом сообщении, **верни только** JSON {{"decision": true, "explanation": "<описание противоречий>"}}.
 **Не добавляй никакого дополнительного текста. Отвечай только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
+    response = await generate_message_mistral_check(prompt)
     time.sleep(3)
     print("GigaChat Pro response:", response)
     result = parse_json_response(response)
@@ -1575,7 +1593,7 @@ def check_no_contradictions(message, description, benefits, key_message):
         return None
 
 # 30. Проверка на наличие ключевого сообщения
-def check_contains_key_message(message, key_message):
+async def check_contains_key_message(message, key_message):
     print()
     print("Проверка 30: Проверка на наличие ключевого сообщения")
     print()
@@ -1589,7 +1607,7 @@ def check_contains_key_message(message, key_message):
 Если сообщение **не содержит всю** информацию из ключевого текста, **верни только** JSON {{"decision": true, "explanation": "Ключевое текст отсутствует."}}.
 **Не добавляй никакого дополнительного текста. Отвечай только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
+    response = await generate_message_mistral_check(prompt)
     time.sleep(3)
     print("GigaChat Pro response:", response)
     result = parse_json_response(response)
@@ -1602,7 +1620,7 @@ def check_contains_key_message(message, key_message):
         return None
 
 # 31. Проверка на точное совпадение названий продуктов
-def check_product_name_consistency(message, product_name):
+async def check_product_name_consistency(message, product_name):
     print()
     print("Проверка 31: Проверка на точное совпадение названий продуктов")
     print()
@@ -1619,7 +1637,7 @@ def check_product_name_consistency(message, product_name):
 Если название продукта **не** совпадает, **верни только** JSON {{"decision": true, "explanation": "<описание несоответствия>"}}.
 **Не добавляй никакого дополнительного текста. Ответ должен быть только в формате JSON с закрывающими кавычками и скобками.**'''
 
-    response = generate_message_mistral_check(prompt)
+    response = await generate_message_mistral_check(prompt)
     time.sleep(3)
     print("GigaChat Pro response:", response)
     result = parse_json_response(response)
@@ -1634,15 +1652,17 @@ def check_product_name_consistency(message, product_name):
 # ФУНКЦИИ ПРОВЕРОК (КОНЕЦ)
 
 
-def safe_check(func, *args):
+async def safe_check(func, *args):
     try:
-        return func(*args)
+        if inspect.iscoroutinefunction(func):
+            return await func(*args)
+        else:
+            return func(*args)
     except Exception as e:
-        # Optionally, you can log the exception here if needed
-        print(f"Ошибка в {func.__name__}: {e}")
-        return None  # Indicate that the check could not be performed
+        print(f"Error in {func.__name__}: {e}")
+        return None
 
-def perform_checks(message, description, key_message, product_name, benefits):
+async def perform_checks(message, description, key_message, product_name, benefits):
     checks = {}
 
     # 2. Morphological checks using pymorphy3
@@ -1688,7 +1708,7 @@ def perform_checks(message, description, key_message, product_name, benefits):
 
     # Perform morphological checks
     for check_name, check_func in morphological_checks:
-        result = safe_check(check_func, message)
+        result = await safe_check(check_func, message)
         checks[check_name] = result
         if result is False:
             return checks  # Stop on first failure
@@ -1696,19 +1716,19 @@ def perform_checks(message, description, key_message, product_name, benefits):
     # Perform LLM checks group 1
     for check_name, check_func in llm_checks_group1:
         if check_name == "no_contradictions":
-            result = safe_check(check_func, message, description, benefits, key_message)
+            result = await safe_check(check_func, message, description, benefits, key_message)
         elif check_name == "contains_key_message":
-            result = safe_check(check_func, message, key_message)
+            result = await safe_check(check_func, message, key_message)
         elif check_name == "product_name_consistency":
-            result = safe_check(check_func, message, product_name)
+            result = await safe_check(check_func, message, product_name)
         elif check_name == "clickbait_phrases":
-            result = safe_check(check_func, message, description, benefits, key_message)
+            result = await safe_check(check_func, message, description, benefits, key_message)
         elif check_name == "abstract_claims":
-            result = safe_check(check_func, message, description, benefits, key_message)
+            result = await safe_check(check_func, message, description, benefits, key_message)
         elif check_name == "cliches_and_bureaucratese":
-            result = safe_check(check_func, message, description, benefits, key_message)
+            result = await safe_check(check_func, message, description, benefits, key_message)
         else:
-            result = safe_check(check_func, message)
+            result = await safe_check(check_func, message)
         checks[check_name] = result
         if result is False:
             return checks