Update app.py

app.py

@@ -1,14 +1,10 @@
 import os
 import logging
+import json
+from datetime import datetime
 import gradio as gr
 from huggingface_hub import InferenceClient
 from logging.handlers import RotatingFileHandler
-from telegram import Update
-from telegram.ext import ApplicationBuilder, CommandHandler, MessageHandler, filters, ContextTypes
-from google.oauth2 import service_account
-from googleapiclient.discovery import build
-from googleapiclient.http import MediaFileUpload
-import json
 
 # Настройка логирования
 log_file = 'app_debug.log'
@@ -19,47 +15,38 @@ file_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(mes
 logger.addHandler(file_handler)
 logger.debug("Application started")
 
-# Упрощённый системный промпт
-DEFAULT_SYSTEM_PROMPT = "For every question I ask I want you to think through the problem. Using Chain Of Thought and your plan think through the question or query step by step."
-
-# Настройки Google Drive
-SERVICE_ACCOUNT_INFO = json.loads(os.getenv("GOOGLE_DRIVE_SERVICE_ACCOUNT"))  # Используйте секрет для хранения учетных данных
-SCOPES = ["https://www.googleapis.com/auth/drive.file"]
+# Системный промпт по умолчанию
+DEFAULT_SYSTEM_PROMPT = "For every question I ask, I want you to think through the problem step by step using Chain Of Thought."
 
-credentials = service_account.Credentials.from_service_account_info(SERVICE_ACCOUNT_INFO, scopes=SCOPES)
-drive_service = build("drive", "v3", credentials=credentials)
-
-# Класс для бота Фрикадельчик
-class FrikadelikBot:
+class FrikadelchikBot:
     def __init__(self):
-        self.client = InferenceClient("mistralai/Mistral-7B-Instruct-v0.3")
+        self.client = InferenceClient(model="mistralai/Mistral-7B-Instruct-v0.3")
         self.system_prompt = DEFAULT_SYSTEM_PROMPT
-        logger.debug("Bot initialized with default system prompt")
+        logger.debug("Bot initialized")
 
     def format_prompt(self, message, history):
-        # Создаём промпт: системный промпт + последнее сообщение пользователя и ответ бота
-        prompt = f"<s>[INST] <<SYS>>\n{self.system_prompt}\n<</SYS>>\n\n"
-        
-        # Добавляем только последнее сообщение из истории (если оно есть)
+        # Максимальное количество токенов контекстного окна модели
+        max_context_length = 2048
+
+        # Формируем системный промпт
+        prompt = f"<s>[INST] <<SYS>>\n{self.system_prompt.strip()}\n<</SYS>>\n\n"
+
+        # Добавляем только последнее сообщение пользователя и ответ бота для предотвращения переполнения
         if history:
-            user_msg, bot_msg = history[-1]
-            prompt += f"[INST] {user_msg.strip()} [/INST] {bot_msg.strip()} </s><s>"
-        
+            last_user_msg, last_bot_msg = history[-1]
+            prompt += f"[INST] {last_user_msg.strip()} [/INST] {last_bot_msg.strip()} </s><s>"
+
         # Добавляем текущее сообщение пользователя
         prompt += f"[INST] {message.strip()} [/INST]"
         logger.debug(f"Formatted prompt length (tokens): {len(prompt.split())}")
         return prompt
 
-    def generate_response(self, message, history, temperature=0.7, max_new_tokens=256, top_p=0.95, repetition_penalty=1.2):
+    def generate(self, message, history, temperature=0.7, max_new_tokens=256, top_p=0.95, repetition_penalty=1.2):
         try:
-            # Ограничиваем историю до одного сообщения для предотвращения переполнения
-            if len(history) > 1:
-                history = history[-1:]
-
             formatted_prompt = self.format_prompt(message, history)
             logger.debug(f"Formatted prompt:\n{formatted_prompt}")
 
-            # Параметры генерации
+            # Настройка параметров генерации
             generation_args = {
                 "temperature": max(float(temperature), 1e-2),
                 "max_new_tokens": int(max_new_tokens),
@@ -72,36 +59,22 @@ class FrikadelikBot:
                 "return_full_text": False
             }
 
-            # Генерация ответа
-            stream = self.client.text_generation(formatted_prompt, **generation_args)
+            stream = self.client.text_generation(
+                formatted_prompt,
+                **generation_args
+            )
 
             response = ""
             for token in stream:
                 response += token.token.text
-            
+                yield history + [[message, response]], ""
+
             logger.debug(f"Generated response length: {len(response)}")
-            return response
 
         except Exception as e:
             error_msg = f"Ошибка при генерации ответа: {str(e)}"
             logger.error(error_msg)
-            return f"Извините, произошла ошибка: {error_msg}"
-
-    def save_history_to_google_drive(self, history):
-        try:
-            # Сохраняем историю в локальный файл
-            local_file = "history.json"
-            with open(local_file, "w", encoding="utf-8") as f:
-                json.dump(history, f, ensure_ascii=False, indent=4)
-
-            # Загрузка файла на Google Drive
-            file_metadata = {"name": "history.json", "mimeType": "application/json"}
-            media = MediaFileUpload(local_file, mimetype="application/json")
-            file = drive_service.files().create(body=file_metadata, media_body=media, fields="id").execute()
-
-            logger.info(f"Chat history uploaded to Google Drive with ID: {file.get('id')}")
-        except Exception as e:
-            logger.error(f"Error saving history to Google Drive: {str(e)}")
+            yield history + [[message, f"Извините, произошла ошибка: {error_msg}"]], ""
 
     def clear_chat_history(self):
         try:
@@ -111,136 +84,79 @@ class FrikadelikBot:
             logger.error(f"Error clearing chat history: {str(e)}")
             return None
 
-bot = FrikadelikBot()
-
-# Функция для обновления истории после каждого сообщения
-def update_history_and_save_to_drive(user_message, bot_response, context):
-    if "history" not in context.chat_data:
-        context.chat_data["history"] = []
-
-    # Обновление истории сообщений
-    context.chat_data["history"].append((user_message, bot_response))
-    if len(context.chat_data["history"]) > 1:
-        context.chat_data["history"] = context.chat_data["history"][-1:]  # Храним только последнее сообщение
-
-    # Сохраняем историю на Google Диск
-    bot.save_history_to_google_drive(context.chat_data["history"])
-
-# Инициализация Telegram-бота с использованием токена из переменной окружения
-TELEGRAM_TOKEN = os.getenv("TELEGRAM_BOT_TOKEN")
-
-if TELEGRAM_TOKEN is None:
-    raise ValueError("Telegram bot token not found. Please set the 'TELEGRAM_BOT_TOKEN' environment variable.")
+bot = FrikadelchikBot()
 
-async def start(update: Update, context: ContextTypes.DEFAULT_TYPE):
-    """Команда /start"""
-    await update.message.reply_text("Привет! Я Фрикадельчик. Готов помочь вам в любом вопросе.")
+with gr.Blocks() as app:
+    gr.Markdown("# Фрикадельчик v0.3")
 
-async def help_command(update: Update, context: ContextTypes.DEFAULT_TYPE):
-    """Команда /help"""
-    await update.message.reply_text("Напишите мне любой вопрос, и я постараюсь ответить!")
-
-async def handle_message(update: Update, context: ContextTypes.DEFAULT_TYPE):
-    """Обработка сообщений пользователя"""
-    user_message = update.message.text
-
-    # Используем историю сообщений (для каждого чата можно сохранять историю отдельно)
-    if "history" not in context.chat_data:
-        context.chat_data["history"] = []
-
-    # Генерация ответа
-    response = bot.generate_response(user_message, context.chat_data["history"])
-
-    # Обновление истории сообщений и сохранение на Google Drive
-    update_history_and_save_to_drive(user_message, response, context)
-
-    # Ответ пользователю
-    await update.message.reply_text(response)
-
-# Запуск приложения Telegram-бота
-app = ApplicationBuilder().token(TELEGRAM_TOKEN).build()
-
-app.add_handler(CommandHandler("start", start))
-app.add_handler(CommandHandler("help", help_command))
-app.add_handler(MessageHandler(filters.TEXT & ~filters.COMMAND, handle_message))
-
-if __name__ == "__main__":
-    import asyncio
-    loop = asyncio.get_event_loop()
-    loop.create_task(app.run_polling())
-
-    # Gradio интерфейс для локального тестирования
-    with gr.Blocks() as gr_app:
-        gr.Markdown("# Frikadelchik v0.3")
-
-        # Компонент для чата
-        chatbot = gr.Chatbot(
-            show_label=False,
-            show_share_button=False,
-            show_copy_button=True,
-            likeable=True,
-            layout="panel"
+    with gr.Accordion("Системный промпт", open=False):
+        system_prompt = gr.TextArea(
+            value=DEFAULT_SYSTEM_PROMPT,
+            label="Системный промпт",
+            lines=4,
+            interactive=True,
+            info="Определите поведение и личность бота"
         )
 
-        # Текстовое пол�� для ввода сообщения
-        msg = gr.Textbox(
-            placeholder="Введите сообщение...",
-            label="Input"
+    chatbot = gr.Chatbot()
+
+    msg = gr.Textbox(
+        placeholder="Введите сообщение...",
+        label="Ввод"
+    )
+
+    with gr.Accordion("Параметры генерации", open=False):
+        temperature = gr.Slider(
+            label="Температура",
+            value=0.7,
+            minimum=0.0,
+            maximum=1.0,
+            step=0.05,
+            interactive=True,
+            info="Меньшие значения делают ответы более сфокусированными"
+        )
+        max_new_tokens = gr.Slider(
+            label="Максимальное количество новых токенов",
+            value=256,
+            minimum=0,
+            maximum=1024,
+            step=64,
+            interactive=True,
+            info="Максимальное количество генерируемых токенов"
+        )
+        top_p = gr.Slider(
+            label="Top-p (ядровая выборка)",
+            value=0.95,
+            minimum=0.0,
+            maximum=1.0,
+            step=0.05,
+            interactive=True,
+            info="Более высокие значения учитывают больше вероятных токенов"
+        )
+        repetition_penalty = gr.Slider(
+            label="Штраф за повторения",
+            value=1.2,
+            minimum=1.0,
+            maximum=2.0,
+            step=0.05,
+            interactive=True,
+            info="Штраф за повторяющиеся токены"
         )
 
-        # Параметры генерации
-        with gr.Accordion("Generation Parameters", open=False):
-            temperature = gr.Slider(
-                label="Temperature",
-                value=0.7,
-                minimum=0.0,
-                maximum=1.0,
-                step=0.05,
-                interactive=True,
-                info="Lower values make the output more focused"
-            )
-            max_new_tokens = gr.Slider(
-                label="Max new tokens",
-                value=256,
-                minimum=1,
-                maximum=1024,
-                step=64,
-                interactive=True,
-                info="The maximum number of tokens to generate"
-            )
-            top_p = gr.Slider(
-                label="Top-p (nucleus sampling)",
-                value=0.95,
-                minimum=0.0,
-                maximum=1.0,
-                step=0.05,
-                interactive=True,
-                info="Higher values consider more token options"
-            )
-            repetition_penalty = gr.Slider(
-                label="Repetition penalty",
-                value=1.2,
-                minimum=1.0,
-                maximum=2.0,
-                step=0.05,
-                interactive=True,
-                info="Penalty for repeated tokens"
-            )
-
-        # Кнопка очистки чата
-        clear = gr.Button("Очистить чат")
+    clear = gr.Button("Очистить чат")
 
-        # Обработчики событий
-        msg.submit(
-            bot.generate_response,
-            inputs=[msg, chatbot, temperature, max_new_tokens, top_p, repetition_penalty],
-            outputs=[chatbot, msg]
-        )
+    # Обработчики событий
+    msg.submit(
+        bot.generate,
+        inputs=[msg, chatbot, temperature, max_new_tokens, top_p, repetition_penalty],
+        outputs=[chatbot, msg]
+    )
 
-        clear.click(
-            bot.clear_chat_history,
-            outputs=[chatbot]
-        )
+    clear.click(
+        bot.clear_chat_history,
+        outputs=[chatbot]
+    )
 
-    gr_app.launch(show_api=False, debug=True)
+if __name__ == "__main__":
+    app.launch(show_api=False, debug=True)
     logger.debug("Chat interface initialized and launched")