metadata
license: apache-2.0
language:
- ru
library_name: transformers
pipeline_tag: text-generation
tags:
- warhammer
- warhammer40k
widget:
- text: Конрад Керз подошел к огромным воротам
- text: Болтер был украшен
- text: Толпа хаоситов приближалась
- text: Это был инквизитор
Модель для генерации русских текстов по вселенной Warhammer40k (от ереси Хоруса до свежих книг)
Для пользователей text-generation-webui
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
Ошибка такая:
eos_token_id = eos_token_id[0] IndexError: list index out of range
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку
tokenizer.eos_token_id = 2
перед
return tokenizer