Update app.py

app.py

@@ -20,6 +20,7 @@ from transformers import AutoTokenizer, AutoModel
 from utils import best_text_choice
 import asyncio
 import inspect
+from together import AsyncTogether
 
 tokenizer = AutoTokenizer.from_pretrained("ai-forever/ru-en-RoSBERTa")
 model = AutoModel.from_pretrained("ai-forever/ru-en-RoSBERTa")
@@ -33,6 +34,8 @@ MISTRAL_API_KEY_4 = os.getenv('MISTRAL_API_KEY_4')
 MISTRAL_API_KEY_5 = os.getenv('MISTRAL_API_KEY_5')
 token = os.getenv('GITHUB_TOKEN')
 
+async_client = AsyncTogether(api_key=os.environ.get("TOGETHER_API_KEY"))
+
 # Клиент для генерации сообщений
 client_mistral_generate = Mistral(api_key=MISTRAL_API_KEY)
 
@@ -211,32 +214,64 @@ async def generate_message_mistral_generate(prompt, max_retries=5):
     retries = 0
     while retries < max_retries:
         try:
-            chat_response = await client_mistral_generate.chat.complete_async(
-                model="open-mistral-nemo",
-                temperature=1.0,
-                min_tokens=71,
-                max_tokens=96,
-                messages=[
-                    {
-                        "role": "user",
-                        "content": prompt
-                    },
-                ]
+            # Отправляем запрос к модели Qwen через Together API
+            response = await async_client.chat.completions.create(
+                model="Qwen/Qwen2.5-72B-Instruct-Turbo",
+                messages=[{"role": "user", "content": prompt}],
+                temperature=0.8,      # Параметры можно настроить по необходимости
+                max_tokens=74
             )
-            cleaned_message = clean_message(chat_response.choices[0].message.content.strip())
+
+            # Извлекаем и очищаем ответ
+            cleaned_message = clean_message(response.choices[0].message.content.strip())
             return cleaned_message
+
         except Exception as e:
             error_message = str(e)
+            # Проверяем, связана ли ошибка с превышением лимита или разрывом соединения
             if "Status 429" in error_message or "Server disconnected without sending a response" in error_message:
-                wait_time = 3
-                print(f"Rate limit exceeded or server did not respond. Waiting {wait_time} seconds before retrying...")
+                wait_time = 3  # Время ожидания перед повторной попыткой
+                print(f"Лимит запросов превышен или сервер не ответил. Ожидание {wait_time} секунд перед повторной попыткой...")
                 await asyncio.sleep(wait_time)
                 retries += 1
             else:
-                print(f"Error calling Mistral: {e}")
+                # Для других типов ошибок выводим сообщение и прекращаем попытки
+                print(f"Ошибка при вызове Together API: {e}")
                 return None
-    print("Failed to get response from Mistral after maximum retries.")
+
+    # Если все попытки исчерпаны, сообщаем об этом
+    print("Не удалось получить ответ от Together API после максимального количества попыток.")
     return None
+    
+#    retries = 0
+#    while retries < max_retries:
+#        try:
+#            chat_response = await client_mistral_generate.chat.complete_async(
+#                model="open-mistral-nemo",
+#                temperature=1.0,
+#                min_tokens=71,
+#                max_tokens=96,
+#                messages=[
+#                    {
+#                        "role": "user",
+#                        "content": prompt
+#                    },
+#                ]
+#            )
+#            cleaned_message = clean_message(chat_response.choices[0].message.content.strip())
+#            return cleaned_message
+#        except Exception as e:
+#            error_message = str(e)
+#            if "Status 429" in error_message or "Server disconnected without sending a response" in error_message:
+#                wait_time = 3
+#                print(f"Rate limit exceeded or server did not respond. Waiting {wait_time} seconds before retrying...")
+#                await asyncio.sleep(wait_time)
+#                retries += 1
+#            else:
+#                print(f"Error calling Mistral: {e}")
+#                return None
+#    print("Failed to get response from Mistral after maximum retries.")
+#    return None
 
 async def generate_message_mistral_check(prompt, max_retries=5):
 #def generate_message_mistral_check(prompt):    
@@ -250,29 +285,31 @@ async def generate_message_mistral_check(prompt, max_retries=5):
     retries = 0
     while retries < max_retries:
         try:
-            chat_response = await client_mistral_check.chat.complete_async(
-                model="open-mistral-nemo",
-                temperature=0.2,
-                messages=[
-                    {
-                        "role": "user",
-                        "content": prompt
-                    },
-                ]
+            # Отправляем запрос к модели Qwen через Together API
+            response = await async_client.chat.completions.create(
+                model="Qwen/Qwen2.5-72B-Instruct-Turbo",
+                messages=[{"role": "user", "content": prompt}],
             )
-            cleaned_message = clean_message(chat_response.choices[0].message.content.strip())
+
+            # Извлекаем и очищаем ответ
+            cleaned_message = clean_message(response.choices[0].message.content.strip())
             return cleaned_message
+
         except Exception as e:
             error_message = str(e)
+            # Проверяем, связана ли ошибка с превышением лимита или разрывом соединения
             if "Status 429" in error_message or "Server disconnected without sending a response" in error_message:
-                wait_time = 3
-                print(f"Rate limit exceeded or server did not respond. Waiting {wait_time} seconds before retrying...")
+                wait_time = 3  # Время ожидания перед повторной попыткой
+                print(f"Лимит запросов превышен или сервер не ответил. Ожидание {wait_time} секунд перед повторной попыткой...")
                 await asyncio.sleep(wait_time)
                 retries += 1
             else:
-                print(f"Error calling Mistral: {e}")
+                # Для других типов ошибок выводим сообщение и прекращаем попытки
+                print(f"Ошибка при вызове Together API: {e}")
                 return None
-    print("Failed to get response from Mistral after maximum retries.")
+
+    # Если все попытки исчерпаны, сообщаем об этом
+    print("Не удалось получить ответ от Together API после максимального количества попыток.")
     return None
 
 async def generate_message_mistral_check_2(prompt, max_retries=5):
@@ -284,33 +321,64 @@ async def generate_message_mistral_check_2(prompt, max_retries=5):
 #        return cleaned_message
 #    except Exception as e:
 #        return f"Ошибка при обращении к GigaChat-Pro: {e}"
+
     retries = 0
     while retries < max_retries:
         try:
-            chat_response = await client_mistral_check_2.chat.complete_async(
-                model="open-mistral-nemo",
-                temperature=0.2,
-                messages=[
-                    {
-                        "role": "user",
-                        "content": prompt
-                    },
-                ]
+            # Отправляем запрос к модели Qwen через Together API
+            response = await async_client.chat.completions.create(
+                model="Qwen/Qwen2.5-72B-Instruct-Turbo",
+                messages=[{"role": "user", "content": prompt}],
             )
-            cleaned_message = clean_message(chat_response.choices[0].message.content.strip())
+
+            # Извлекаем и очищаем ответ
+            cleaned_message = clean_message(response.choices[0].message.content.strip())
             return cleaned_message
+
         except Exception as e:
             error_message = str(e)
+            # Проверяем, связана ли ошибка с превышением лимита или разрывом соединения
             if "Status 429" in error_message or "Server disconnected without sending a response" in error_message:
-                wait_time = 3
-                print(f"Rate limit exceeded or server did not respond. Waiting {wait_time} seconds before retrying...")
+                wait_time = 3  # Время ожидания перед повторной попыткой
+                print(f"Лимит запросов превышен или сервер не ответил. Ожидание {wait_time} секунд перед повторной попыткой...")
                 await asyncio.sleep(wait_time)
                 retries += 1
             else:
-                print(f"Error calling Mistral: {e}")
+                # Для других типов ошибок выводим сообщение и прекращаем попытки
+                print(f"Ошибка при вызове Together API: {e}")
                 return None
-    print("Failed to get response from Mistral after maximum retries.")
+
+    # Если все попытки исчерпаны, сообщаем об этом
+    print("Не удалось получить ответ от Together API после максимального к��личества попыток.")
     return None
+    
+#    retries = 0
+#    while retries < max_retries:
+#        try:
+#            chat_response = await client_mistral_check_2.chat.complete_async(
+#                model="open-mistral-nemo",
+#                temperature=0.2,
+#                messages=[
+#                    {
+#                        "role": "user",
+#                        "content": prompt
+#                    },
+#                ]
+#            )
+#            cleaned_message = clean_message(chat_response.choices[0].message.content.strip())
+#            return cleaned_message
+#        except Exception as e:
+#            error_message = str(e)
+#            if "Status 429" in error_message or "Server disconnected without sending a response" in error_message:
+#                wait_time = 3
+#                print(f"Rate limit exceeded or server did not respond. Waiting {wait_time} seconds before retrying...")
+#                await asyncio.sleep(wait_time)
+#                retries += 1
+#            else:
+#                print(f"Error calling Mistral: {e}")
+#                return None
+#    print("Failed to get response from Mistral after maximum retries.")
+#    return None
 
 async def generate_message_mistral_check_3(prompt, max_retries=5):
 #def generate_message_mistral_check(prompt):    
@@ -321,32 +389,35 @@ async def generate_message_mistral_check_3(prompt, max_retries=5):
 #        return cleaned_message
 #    except Exception as e:
 #        return f"Ошибка при обращении к GigaChat-Pro: {e}"
+    
     retries = 0
     while retries < max_retries:
         try:
-            chat_response = await client_mistral_check_3.chat.complete_async(
-                model="open-mistral-nemo",
-                temperature=0.2,
-                messages=[
-                    {
-                        "role": "user",
-                        "content": prompt
-                    },
-                ]
+            # Отправляем запрос к модели Qwen через Together API
+            response = await async_client.chat.completions.create(
+                model="Qwen/Qwen2.5-72B-Instruct-Turbo",
+                messages=[{"role": "user", "content": prompt}],
             )
-            cleaned_message = clean_message(chat_response.choices[0].message.content.strip())
+
+            # Извлекаем и очищаем ответ
+            cleaned_message = clean_message(response.choices[0].message.content.strip())
             return cleaned_message
+
         except Exception as e:
             error_message = str(e)
+            # Проверяем, связана ли ошибка с превышением лимита или разрывом соединения
             if "Status 429" in error_message or "Server disconnected without sending a response" in error_message:
-                wait_time = 3
-                print(f"Rate limit exceeded or server did not respond. Waiting {wait_time} seconds before retrying...")
+                wait_time = 3  # Время ожидания перед повторной попыткой
+                print(f"Лимит запросов превышен или сервер не ответил. Ожидание {wait_time} секунд перед повторной попыткой...")
                 await asyncio.sleep(wait_time)
                 retries += 1
             else:
-                print(f"Error calling Mistral: {e}")
+                # Для других типов ошибок выводим сообщение и прекращаем попытки
+                print(f"Ошибка при вызове Together API: {e}")
                 return None
-    print("Failed to get response from Mistral after maximum retries.")
+
+    # Если все попытки исчерпаны, сообщаем об этом
+    print("Не удалось получить ответ от Together API после максимального количества попыток.")
     return None
 
 async def generate_message_mistral_check_4(prompt, max_retries=5):
@@ -358,32 +429,35 @@ async def generate_message_mistral_check_4(prompt, max_retries=5):
 #        return cleaned_message
 #    except Exception as e:
 #        return f"Ошибка при обращении к GigaChat-Pro: {e}"
+    
     retries = 0
     while retries < max_retries:
         try:
-            chat_response = await client_mistral_check_4.chat.complete_async(
-                model="open-mistral-nemo",
-                temperature=0.2,
-                messages=[
-                    {
-                        "role": "user",
-                        "content": prompt
-                    },
-                ]
+            # Отправляем запрос к модели Qwen через Together API
+            response = await async_client.chat.completions.create(
+                model="Qwen/Qwen2.5-72B-Instruct-Turbo",
+                messages=[{"role": "user", "content": prompt}],
             )
-            cleaned_message = clean_message(chat_response.choices[0].message.content.strip())
+
+            # Извлекаем и очищаем ответ
+            cleaned_message = clean_message(response.choices[0].message.content.strip())
             return cleaned_message
+
         except Exception as e:
             error_message = str(e)
+            # Проверяем, связана ли ошибка с превышением лимита или разрывом соединения
             if "Status 429" in error_message or "Server disconnected without sending a response" in error_message:
-                wait_time = 3
-                print(f"Rate limit exceeded or server did not respond. Waiting {wait_time} seconds before retrying...")
+                wait_time = 3  # Время ожидания перед повторной попыткой
+                print(f"Лимит запросов превышен или сервер не ответил. Ожидание {wait_time} секунд перед повторной попыткой...")
                 await asyncio.sleep(wait_time)
                 retries += 1
             else:
-                print(f"Error calling Mistral: {e}")
+                # Для других типов ошибок выводим сообщение и прекращаем попытки
+                print(f"Ошибка при вызове Together API: {e}")
                 return None
-    print("Failed to get response from Mistral after maximum retries.")
+
+    # Если все попытки исчерпаны, сообщаем об этом
+    print("Не удалось получить ответ от Together API после максимального количества попыток.")
     return None