from transformers import GPT2LMHeadModel, GPT2Tokenizer import streamlit as st import torch import textwrap import plotly.express as px df = px.data.iris() @st.cache_data def get_img_as_base64(file): with open(file, "rb") as f: data = f.read() return base64.b64encode(data).decode() #img = get_img_as_base64("https://catherineasquithgallery.com/uploads/posts/2021-02/1612739741_65-p-goluboi-fon-tsifri-110.jpg") page_bg_img = f""" """ st.markdown(page_bg_img, unsafe_allow_html=True) st.markdown('## Генерация текста GPT-моделью') tokenizer = GPT2Tokenizer.from_pretrained('sberbank-ai/rugpt3small_based_on_gpt2') model = GPT2LMHeadModel.from_pretrained( 'sberbank-ai/rugpt3small_based_on_gpt2', output_attentions = False, output_hidden_states = False, ) # Вешаем сохраненные веса на нашу модель model.load_state_dict(torch.load('model.pt', map_location=torch.device('cpu'))) col1, col2, col3 = st.columns([5, 2, 12]) with col1: length = st.slider('Длина генерируемой последовательности:', 8, 256, 16) num_samples = st.slider('Число генераций:', 1, 10, 1) temperature = st.slider('Температура:', 1.0, 10.0, 2.0) top_k = st.slider('Количество наиболее вероятных слов генерации:', 10, 200, 50) top_p = st.slider('Минимальная суммарная вероятность топовых слов:', 0.4, 1.0, 0.9) with col2: pass with col3: prompt = st.text_input('Введите текст:') if st.button('Сгенерировать текст'): with torch.inference_mode(): prompt = tokenizer.encode(prompt, return_tensors='pt') out = model.generate( input_ids=prompt, max_length=length, num_beams=5, do_sample=True, temperature=temperature, top_k=top_k, top_p=top_p, no_repeat_ngram_size=3, num_return_sequences=num_samples, ).cpu().numpy() for i, out_ in enumerate(out): st.write(f'Текст {i+1}:') st.write(textwrap.fill(tokenizer.decode(out_), 100))