Lab_Work_4

README.md

@@ -1,12 +1,22 @@
----
-title: URFU 1 Sem Project
-emoji: 📊
-colorFrom: pink
-colorTo: yellow
-sdk: streamlit
-sdk_version: 1.29.0
-app_file: app.py
-pinned: false
----
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# urfu_1_semester
+For a software engineering course
+
+(добавлено при выполнении лабораторной работы №1)
+
+Сформированная команда (1 человек): Никульшин Сергей Сергеевич (РИМ-130963)
+
+Задача, выбранная для лабораторной работы №1, а также для итогового проекта: «Суммирование (создание аннотации) текста на русском языке»
+
+В результате выполнения данной работы были протестированы все 22 предобученные модели машинного обучения, доступные на сайте huggingface.co по запросу «summarization» и выбранному языку – русскому. В итоге, наилучшие результаты (по субъективным ощущениям) показала модель «IlyaGusev/rut5_base_sum_gazeta», которая и была выбрана и будет использоваться для всей дальнейшей работы. Так же был создан файл «lab_work_1.py», в котором реализовано решение выбранной задачи с использованием данной модели машинного обучения для выбранного заранее текста-примера.
+
+Для запуска «lab_work_1.py» должны быть установлены «transformers» и «pytorch».
+
+(добавлено при выполнении лабораторной работы №2)
+
+Результатом выполнения данной работы является файл «streamlit_app.py».
+
+Для запуска «streamlit_app.py» должны быть установлены «transformers», «pytorch» и «streamlit», а также необходимо около 1 Гигабайта свободного пространства и наличие интернет-соединения для скачивания и установки выбранной ранее модели МО.
+
+Тут не будет дана техническая документация о веб приложении, т.к. в самом приложении есть раскрывающееся краткое описание, объясняющее, как использовать данное приложение.
+
+

lab_work_1.py

@@ -0,0 +1,11 @@
+from transformers import pipeline
+
+summarizer = pipeline("summarization", "IlyaGusev/rut5_base_sum_gazeta")
+
+text_for_example = "Высота башни составляет 324 метра (1063 фута), примерно такая же высота, как у 81-этажного здания, и самое высокое сооружение в Париже. Его основание квадратно, размером 125 метров (410 футов) с любой стороны. Во время строительства Эйфелева башня превзошла монумент Вашингтона, став самым высоким искусственным сооружением в мире, и этот титул она удерживала в течение 41 года до завершения строительство здания Крайслер в Нью-Йорке в 1930 году. Это первое сооружение которое достигло высоты 300 метров. Из-за добавления вещательной антенны на вершине башни в 1957 году она сейчас выше здания Крайслер на 5,2 метра (17 футов). За исключением передатчиков, Эйфелева башня является второй самой высокой отдельно стоящей структурой во Франции после виадука Мийо."
+
+print("ТЕКСТ ИСТОЧНИК:\n")
+print("\""+text_for_example+"\"")
+print("\nСГЕНЕРИРОВАННАЯ АННОТАЦИЯ:\n")
+
+print("\""+summarizer(text_for_example)[0]['summary_text']+"\"\n")

streamlit_app.py

@@ -0,0 +1,70 @@
+import streamlit as st
+from transformers import AutoTokenizer, T5ForConditionalGeneration
+import re
+
+# Данная функция считает примерное количество "слов" в тексте (словом будет считаться непрерывная последовательность букв и цифр (с небольшими исключениями)).
+# Т.к. данное веб-приложение создано для работы с простыми русскими текстами (преимущественно, с новостными и научно-популярными статьями),
+# логика подсчета слов примитивная и не гарантируется корректная работа, если текст будет содержать большое количество
+# сложных конструкций (например, формул или нестандартных email-адресов и т.д.), будет перегружен сложными символьными небуквенными конструкциями
+# или будет иметь большое количество синтаксических ошибок (например, пропусков пробелов между словами)
+# Т.к. модель МО все равно не рассчитана на подобные тексты, нет смысла сильно усложнять данную функцию.
+def get_word_count(text_str):
+    text_str_mod = re.sub(r'(?:(?<=\d)[,]{1}(?=\d)|[-_@.])', '', text_str)
+    res = re.findall(r'[0-9a-zA-Zа-яА-ЯёЁ]+', text_str_mod)
+    return len(res)
+
+@st.cache_resource
+def load_model(name_of_model):
+    tokenizer = AutoTokenizer.from_pretrained(name_of_model)
+    model = T5ForConditionalGeneration.from_pretrained(name_of_model)
+    return model, tokenizer
+
+def get_sum(model, article_text):
+    input_ids = model[1](
+        [article_text],
+        max_length=600,
+        add_special_tokens=True,
+        padding="max_length",
+        truncation=True,
+        return_tensors="pt")["input_ids"]
+    
+    output_ids = model[0].generate(
+        input_ids=input_ids,
+        no_repeat_ngram_size=4)[0]
+    
+    summary = model[1].decode(output_ids, skip_special_tokens=True)
+
+    return summary
+
+model_name = "IlyaGusev/rut5_base_sum_gazeta"
+summarizer = load_model(model_name)
+
+st.markdown("<h1 style='text-align: center;'>Создание аннотации текста</h1>", unsafe_allow_html=True)
+
+description_text = "Данное streamlit веб-приложение умеет автоматически генерировать аннотацию текста на русском языке с помощью предобученной модели машинного обучения [IlyaGusev/rut5_base_sum_gazeta](https://huggingface.co/IlyaGusev/rut5_base_sum_gazeta). Для корректной работы исходный текст должен быть:\n\
+- на русском языке\n\
+- объемом не менее 100 слов и не более 600 слов\n\
+- содержать минимум грамматических и синтаксических ошибок\n\
+- быть простым (не содержать слишком много формул, сложных небуквенных конструкций, слов на английском языке и т.д.)\n\n\
+Для генерации аннотации вставьте текст в поле ввода и нажмите кнопку **Создать аннотацию**, либо нажмите сочетание клавиш **Ctrl+Enter** при активном курсоре в поле ввода, \
+либо просто **уберите курсор** из поля ввода (кликнув мышкой вне области ввода)."
+
+with st.expander("Краткое описание данного веб-приложения"):
+    st.write(description_text)
+
+source_text = st.text_area("Введите текст для обработки")
+st.button("Создать аннотацию") # В данном конкретном случае нет необходимости как-то отдельно обрабатывать событие нажатия кнопки, т.к. сам факт нажатия запустит перевыполнение всего кода
+
+if source_text != "":
+    word_in_text = get_word_count(source_text)
+    if 100 <= word_in_text <= 600:
+        st.success("Слов в тексте - "+str(word_in_text)+", текст подходит по объему!")
+    elif word_in_text != 0:
+        st.warning("Слов в тексте - "+str(word_in_text)+", текст не подходит по объему! Приложение попытается создать аннотацию, но корректный результат не гарантируется!")
+    elif word_in_text == 0:
+        st.error("В поле ввода не обнаружено ни одного слова. Генерация аннотации отменена.")
+    
+    if word_in_text != 0:
+        st.write(get_sum(summarizer, source_text))
+
+