|
--- |
|
license: apache-2.0 |
|
language: |
|
- ru |
|
library_name: transformers |
|
pipeline_tag: text-generation |
|
tags: |
|
- warhammer |
|
- warhammer40k |
|
widget: |
|
- text: "Конрад Керз подошел к огромным воротам" |
|
- text: "Болтер был украшен" |
|
- text: "Толпа хаоситов приближалась" |
|
- text: "Это был инквизитор" |
|
|
|
--- |
|
|
|
Модель для генерации русских текстов по вселенной Warhammer40k (от ереси Хоруса до свежих книг) |
|
|
|
|
|
## Для пользователей text-generation-webui |
|
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер. |
|
Ошибка такая:<br> |
|
>eos_token_id = eos_token_id[0] |
|
>IndexError: list index out of range |
|
|
|
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br> |
|
<code>tokenizer.eos_token_id = 2</code><br> |
|
перед<br> |
|
<code>return tokenizer</code> |
|
|
