zlsl commited on
Commit
cd43916
1 Parent(s): e5dd78f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -1
README.md CHANGED
@@ -9,4 +9,17 @@ tags:
9
  pipeline_tag: text-generation
10
  ---
11
 
12
- Модель обученная на книгах по Star Trek
 
 
 
 
 
 
 
 
 
 
 
 
 
 
9
  pipeline_tag: text-generation
10
  ---
11
 
12
+ Модель обученная на книгах по Star Trek
13
+
14
+
15
+
16
+ ## Для пользователей text-generation-webui
17
+ В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
18
+ Ошибка такая:<br>
19
+ >eos_token_id = eos_token_id[0]
20
+ >IndexError: list index out of range
21
+
22
+ Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
23
+ <code>tokenizer.eos_token_id = 2</code><br>
24
+ перед<br>
25
+ <code>return tokenizer</code>