Update README.md
Browse files
README.md
CHANGED
@@ -19,6 +19,19 @@ widget:
|
|
19 |
Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной.
|
20 |
|
21 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
22 |
>И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку.
|
23 |
>
|
24 |
>— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда.
|
|
|
19 |
Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной.
|
20 |
|
21 |
|
22 |
+
## Для пользователей text-generation-webui
|
23 |
+
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
|
24 |
+
Ошибка такая:<br>
|
25 |
+
>eos_token_id = eos_token_id[0]
|
26 |
+
>IndexError: list index out of range
|
27 |
+
|
28 |
+
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
|
29 |
+
<code>tokenizer.eos_token_id = 2</code><br>
|
30 |
+
перед<br>
|
31 |
+
<code>return tokenizer</code>
|
32 |
+
|
33 |
+
|
34 |
+
|
35 |
>И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку.
|
36 |
>
|
37 |
>— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда.
|