app.py

import gradio as gr
from gradio_client import Client

# Создаем клиент для взаимодействия с API
client = Client("llamameta/Pixtral-Large-Instruct-2411")

# Функция для обработки сообщений чат-бота
def chatbot_response(message, chat_history, system_message, max_tokens, temperature, top_p):
    # Добавляем сообщение пользователя в историю
    chat_history.append((message, ""))

    # Генерируем ответ от чат-бота
    result = client.predict(
        message=message,
        system_message=system_message,
        max_tokens=max_tokens,
        temperature=temperature,
        top_p=top_p,
        api_name="/chat"
    )

    # Добавляем ответ чат-бота в историю
    chat_history[-1] = (message, result)

    return chat_history, chat_history

# Определяем интерфейс Gradio
iface = gr.Interface(
    fn=chatbot_response,
    inputs=[
        gr.inputs.Textbox(lines=2, placeholder="Введите ваше сообщение здесь...", label="Сообщение"),
        gr.inputs.State(initial_value=[]),  # Состояние для хранения истории сообщений
        gr.inputs.Textbox(lines=2, default="You are a friendly Chatbot created by balianone.com", label="Системное сообщение"),
        gr.inputs.Slider(minimum=100, maximum=18000, default=18000, label="Максимальное количество новых токенов"),
        gr.inputs.Slider(minimum=0.0, maximum=1.0, default=0.7, label="Температура"),
        gr.inputs.Slider(minimum=0.0, maximum=1.0, default=0.95, label="Top-p (нуклеарная сэмплирование)")
    ],
    outputs=[
        gr.outputs.Chatbot(label="Чат"),
        gr.outputs.State()  # Состояние для хранения истории сообщений
    ],
    title="Chatbot с использованием Pixtral-Large-Instruct",
    description="Простой чат-бот, использующий модель Pixtral-Large-Instruct для генерации ответов."
)

# Запускаем интерфейс
iface.launch()