pages/Oxymiron.py

import streamlit as st
import torch
from transformers import GPT2LMHeadModel, GPT2Tokenizer

@st.cache_resource
def load_model():
    oxymiron = GPT2LMHeadModel.from_pretrained('sberbank-ai/rugpt3small_based_on_gpt2', output_attentions = False, output_hidden_states = False)
    tokenizer = GPT2Tokenizer.from_pretrained("sberbank-ai/rugpt3small_based_on_gpt2")
    return oxymiron, tokenizer

oxymiron, tokenizer = load_model()
oxymiron.load_state_dict(torch.load('oxymiron_weights.pt', map_location=torch.device('cpu')))
oxymiron.to('cpu')
oxymiron.eval()

def generate_response(text, temperature, length, top_p):
    input_ids = tokenizer.encode(text, return_tensors="pt")
    with torch.no_grad():
        out = oxymiron.generate(input_ids, do_sample=True, num_beams=2, temperature=float(temperature), top_p=float(top_p), max_length=length)
    generated_text = list(map(tokenizer.decode, out))[0]
    last_full_stop_index = generated_text.rfind('.')
    st.write(generated_text[:last_full_stop_index + 1])

st.title('Миро́н Я́нович Фёдоров')
st.image('oxymiron.jpg', use_column_width=True)
st.write('Напишите подсказку на русском языке, и модель на основе GPT отобразит текст Оксимирона.')


# Задаем описание страницы, которое можно свернуть и развернуть
with st.expander("Описание"):
    st.write("""sberbank-ai/rugpt3small_based_on_gpt2 - это нейронная сеть, специально обученный на большом количестве текстов на русском языке. 
             Модель может использоваться для создания автоматических ответов, разговорных систем и даже создания 
             субтитров для видео.""")
    st.write("""Мой Dataset состоял из 30_000 слов и обучался 15 эпох (25 мин)""")
    st.write("""Интересные факты:""")
    st.write("""* Модель содержит около 124 миллионов параметров""")
    st.write("""* Отличительной особенностью этой модели является ее способность генерировать тексты на различные темы и стили""")
    st.write("""* Модель показала высокую точность и удовлетворенность при оценке на разных задачах, таких как вопросы-ответы и перевод текста""")


# Задаем параметры генерации
st.write('Определяем параметры генерации:')
with st.expander("Параметры генерации"):
    temperature = st.slider('Температура (Более высокая может способствовать генерации более разнообразных, но менее четких и согласованных фраз)', value=1.5, min_value=1.0, max_value=5.0, step=0.1)
    length = st.slider('Длина (определяет ожидаемую длину генерируемого текста)', value=50, min_value=20, max_value=150, step=1)
    top_p = st.slider('Значение top-p (более высокое значение top-p, мы получаем более консервативную генерацию, в то время как более низкое значение top-p даёт более разнообразный текст)', value=0.9, min_value=0.5, max_value=1.0, step=0.05)

# Задаем поле ввода текста и кнопку "Отправить"
user_input = st.text_area("Введите текст:")
if st.button("Отправить"):
    if user_input:
    	generate_response(user_input, temperature, length, top_p)
    else:
        st.warning("Пожалуйста, введите текст.")