File size: 884 Bytes
9f9d0af
13a8bf4
 
 
 
 
 
 
 
 
 
be3f231
 
 
9f9d0af
13a8bf4
117da12
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
---
license: cc-by-nc-sa-4.0
language:
- ru
library_name: transformers
pipeline_tag: text-generation
tags:
- erotic
- russian
- chat
- roleplay
widget:
- text: "Я: (улыбаюсь)"
- text: "Аня: Ох!"
---

float16 версия [zlsl/l_soft_erotic_tm](https://huggingface.co/zlsl/l_soft_erotic_tm)



## Для пользователей text-generation-webui
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
Ошибка такая:<br>
>eos_token_id = eos_token_id[0]
>IndexError: list index out of range

Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
<code>tokenizer.eos_token_id = 2</code><br>
перед<br>
<code>return tokenizer</code>