files added

app.py

@@ -1,5 +1,5 @@
 import streamlit as st
 
-st.title('A multipage application featuring various Natural Language Processing instruments and functions')
+st.title('Natural Language Processing Project')
 
 st.image('aperiodic.png') 

oxymiron_weights.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f74f64156d6e3c915f8974370242f37e54c1ad5f2420f3efe62d61729e0f7071
+size 500981453

pages/Borgesian.py

@@ -34,5 +34,6 @@ user_input = st.text_area("Enter your text:")
 if st.button("Send"):
     if user_input:
         generate_response(user_input, temperature, length, top_p)
+        st.image('penrose_tiling.jpg')
     else:
         st.warning("Please enter some text.")

pages/Oxymiron.py

@@ -0,0 +1,54 @@
+import streamlit as st
+import torch
+from transformers import GPT2LMHeadModel, GPT2Tokenizer
+
+@st.cache_resource
+def load_model():
+    oxymiron = GPT2LMHeadModel.from_pretrained('sberbank-ai/rugpt3small_based_on_gpt2', output_attentions = False, output_hidden_states = False)
+    tokenizer = GPT2Tokenizer.from_pretrained("sberbank-ai/rugpt3small_based_on_gpt2")
+    return oxymiron, tokenizer
+
+oxymiron, tokenizer = load_model()
+oxymiron.load_state_dict(torch.load('pushkin_weights.pt', map_location=torch.device('cpu')))
+oxymiron.to('cpu')
+oxymiron.eval()
+
+def generate_response(text, temperature, length, top_p):
+    input_ids = tokenizer.encode(text, return_tensors="pt")
+    with torch.no_grad():
+        out = oxymiron.generate(input_ids, do_sample=True, num_beams=2, temperature=float(temperature), top_p=float(top_p), max_length=length)
+    generated_text = list(map(tokenizer.decode, out))[0]
+    last_full_stop_index = generated_text.rfind('.')
+    st.write(generated_text[:last_full_stop_index + 1])
+
+st.title('Миро́н Я́нович Фёдоров')
+st.image('oxymiron.jpg', use_column_width=True)
+st.write('Напишите подсказку на русском языке, и модель на основе GPT отобразит текст Оксимирона.')
+
+
+# Задаем описание страницы, которое можно свернуть и развернуть
+with st.expander("Описание"):
+    st.write("""sberbank-ai/rugpt3small_based_on_gpt2 - это нейронная сеть, специально обученный на большом количестве текстов на русском языке. 
+             Модель может использоваться для создания автоматических ответов, разговорных систем и даже создания 
+             субтитров для видео.""")
+    st.write("""Мой Dataset состоял из 30_000 слов и обучался 15 эпох (25 мин)""")
+    st.write("""Интересные факты:""")
+    st.write("""* Модель содержит около 124 миллионов параметров""")
+    st.write("""* Отличительной особенностью этой модели является ее способность генерировать тексты на различные темы и стили""")
+    st.write("""* Модель показала высокую точность и удовлетворенность при оценке на разных задачах, таких как вопросы-ответы и перевод текста""")
+
+
+# Задаем параметры генерации
+st.write('Определяем параметры генерации:')
+with st.expander("Параметры генерации"):
+    temperature = st.slider('Температура (Более высокая может способствовать генерации более разнообразных, но менее четких и согласованных фраз)', value=1.5, min_value=1.0, max_value=5.0, step=0.1)
+    length = st.slider('Длина (определяет ожидаемую длину генерируемого текста)', value=50, min_value=20, max_value=150, step=1)
+    top_p = st.slider('Значение top-p (более высокое значение top-p, мы получаем более консервативную генерацию, в то время как более низкое значение top-p даёт более разнообразный текст)', value=0.9, min_value=0.5, max_value=1.0, step=0.05)
+
+# Задаем поле ввода текста и кнопку "Отправить"
+user_input = st.text_area("Введите текст:")
+if st.button("Отправить"):
+    if user_input:
+    	generate_response(user_input, temperature, length, top_p)
+    else:
+        st.warning("Пожалуйста, введите текст.")

pages/Pushkin.py

@@ -0,0 +1,54 @@
+import streamlit as st
+import torch
+from transformers import GPT2LMHeadModel, GPT2Tokenizer
+
+@st.cache_resource
+def load_model():
+    pushkin = GPT2LMHeadModel.from_pretrained('sberbank-ai/rugpt3small_based_on_gpt2', output_attentions = False, output_hidden_states = False)
+    tokenizer = GPT2Tokenizer.from_pretrained("sberbank-ai/rugpt3small_based_on_gpt2")
+    return pushkin, tokenizer
+    
+pushkin, tokenizer = load_model()
+pushkin.load_state_dict(torch.load('pushkin_weights.pt', map_location=torch.device('cpu')))
+pushkin.to('cpu')
+pushkin.eval()
+    
+def generate_response(text, temperature, length, top_p):
+    input_ids = tokenizer.encode(text, return_tensors="pt")
+    with torch.no_grad():
+        out = pushkin.generate(input_ids, do_sample=True, num_beams=2, temperature=float(temperature), top_p=float(top_p), max_length=length)
+    generated_text = list(map(tokenizer.decode, out))[0]
+    last_full_stop_index = generated_text.rfind('.')
+    st.write(generated_text[:last_full_stop_index + 1])
+
+st.title('Александр Сергеевич Пушкин')
+st.image('pushkin.jpg', use_column_width=True)
+st.write('Напишите подсказку на русском языке, и модель на основе GPT отобразит текст Пушкина.')
+
+
+# Задаем описание страницы, которое можно свернуть и развернуть
+with st.expander("Описание"):
+    st.write("""sberbank-ai/rugpt3small_based_on_gpt2 - это нейронная сеть, специально обученный на большом количестве текстов на русском языке. 
+             Модель может использоваться для создания автоматических ответов, разговорных систем и даже создания 
+             субтитров для видео.""")
+    st.write("""Мой Dataset состоял из 103_000 слов и обучался 5 эпох (1 час)""")
+    st.write("""Интересные факты:""")
+    st.write("""* Модель содержит около 124 миллионов параметров""")
+    st.write("""* Отличительной особенностью этой модели является ее способность генерировать тексты на различные темы и стили""")
+    st.write("""* Модель показала высокую точность и удовлетворенность при оценке на разных задачах, таких как вопросы-ответы и перевод текста""")
+
+
+# Задаем параметры генерации
+st.write('Определяем параметры генерации:')
+with st.expander("Параметры генерации"):
+    temperature = st.slider('Температура (Более высокая может способствовать генерации более разнообразных, но менее четких и согласованных фраз)', value=1.5, min_value=1.0, max_value=5.0, step=0.1)
+    length = st.slider('Длина (определяет ожидаемую длину генерируемого текста)', value=50, min_value=20, max_value=150, step=1)
+    top_p = st.slider('Значение top-p (более высокое значение top-p, мы получаем более консервативную генерацию, в то время как более низкое значение top-p даёт более разнообразный текст)', value=0.9, min_value=0.5, max_value=1.0, step=0.05)
+
+# Задаем поле ввода текста и кнопку "Отправить"
+user_input = st.text_area("Введите текст:")
+if st.button("Отправить"):
+    if user_input:
+        generate_response(user_input, temperature, length, top_p)
+    else:
+        st.warning("Пожалуйста, введите текст.")

pushkin_weights.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5e692db88209c4bbc5a406058ff0026f52544b1f41ffaa4ebfb703389d1d1d0f
+size 500980103