zlsl commited on
Commit
bfd6b8c
·
1 Parent(s): 8498d8f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +13 -0
README.md CHANGED
@@ -19,6 +19,19 @@ widget:
19
  Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной.
20
 
21
 
 
 
 
 
 
 
 
 
 
 
 
 
 
22
  >И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку.
23
  >
24
  >— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда.
 
19
  Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной.
20
 
21
 
22
+ ## Для пользователей text-generation-webui
23
+ В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
24
+ Ошибка такая:<br>
25
+ >eos_token_id = eos_token_id[0]
26
+ >IndexError: list index out of range
27
+
28
+ Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
29
+ <code>tokenizer.eos_token_id = 2</code><br>
30
+ перед<br>
31
+ <code>return tokenizer</code>
32
+
33
+
34
+
35
  >И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку.
36
  >
37
  >— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда.