RichelieuGVG
commited on
Commit
•
8ba58e3
1
Parent(s):
1bdbe37
Update README.md
Browse files
README.md
CHANGED
@@ -16,10 +16,10 @@ library_name: transformers
|
|
16 |
# Проект: Чат-бот с использованием модели ruT5-base для ответов на вопросы
|
17 |
|
18 |
## Описание
|
19 |
-
Этот проект представляет собой систему, которая использует предобученную модель **ruT5-base** для генерации ответов на вопросы, основанных на предоставленном контексте.
|
20 |
|
21 |
## Датасет
|
22 |
-
|
23 |
|
24 |
## Архитектура модели
|
25 |
В качестве базовой модели используется [ruT5-base](https://huggingface.co/ai-forever/ruT5-base) — Encoder-Decoder модель, оптимизированная для задач на русском языке. Модель была дополнительно дообучена на кастомных данных для улучшения генерации ответов на основе предоставленного контекста.
|
@@ -48,7 +48,9 @@ eval_steps=300,
|
|
48 |
learning_rate=3e-5,
|
49 |
predict_with_generate=False,
|
50 |
generation_max_length=64
|
|
|
51 |
|
|
|
52 |
## Результаты обучения
|
53 |
|
54 |
| Шаг | Loss на обучении | Loss на валидации | Sbleu | Chr F | Rouge1 | Rouge2 | Rougel |
|
|
|
16 |
# Проект: Чат-бот с использованием модели ruT5-base для ответов на вопросы
|
17 |
|
18 |
## Описание
|
19 |
+
Этот проект представляет собой систему, которая использует предобученную модель **ruT5-base** для генерации ответов на вопросы, основанных на предоставленном контексте. Я дообучаю модель на датасете SberQUAD, адаптируя её для задач вопросно-ответного взаимодействия на русском языке.
|
20 |
|
21 |
## Датасет
|
22 |
+
Я использую датасет [SberQUAD](https://huggingface.co/datasets/kuznetsoffandrey/sberquad), который содержит примеры вопросов и ответов на них в контексте различных текстов. Датасет разбит на тренировочные, валидационные и тестовые части.
|
23 |
|
24 |
## Архитектура модели
|
25 |
В качестве базовой модели используется [ruT5-base](https://huggingface.co/ai-forever/ruT5-base) — Encoder-Decoder модель, оптимизированная для задач на русском языке. Модель была дополнительно дообучена на кастомных данных для улучшения генерации ответов на основе предоставленного контекста.
|
|
|
48 |
learning_rate=3e-5,
|
49 |
predict_with_generate=False,
|
50 |
generation_max_length=64
|
51 |
+
```
|
52 |
|
53 |
+
К сожалению, мне не хватило вычислительного времени на Google Collab, поэтому модель была обучена только на одной эпохе с ~1416 шагами.
|
54 |
## Результаты обучения
|
55 |
|
56 |
| Шаг | Loss на обучении | Loss на валидации | Sbleu | Chr F | Rouge1 | Rouge2 | Rougel |
|