--- license: gpl-3.0 language: - ru library_name: transformers tags: - star trek - startrek pipeline_tag: text-generation --- Модель обученная на книгах по Star Trek ## Для пользователей text-generation-webui В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер. Ошибка такая:
>eos_token_id = eos_token_id[0] >IndexError: list index out of range Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку
tokenizer.eos_token_id = 2
перед
return tokenizer