Не работает в text-generation-webui?
При попытке генерации ничего не происходит, в консоли ошибки:
Traceback (most recent call last):
File "E:\ai\oobabooga_windows_GPU\text-generation-webui\modules\callbacks.py", line 55, in gentask
ret = self.mfunc(callback=_callback, *args, **self.kwargs)
File "E:\ai\oobabooga_windows_GPU\text-generation-webui\modules\text_generation.py", line 293, in generate_with_callback
shared.model.generate(**kwargs)
File "E:\ai\oobabooga_windows_GPU\installer_files\env\lib\site-packages\torch\utils_contextlib.py", line 115, in decorate_context
return func(*args, **kwargs)
File "E:\ai\oobabooga_windows_GPU\installer_files\env\lib\site-packages\transformers\generation\utils.py", line 1296, in generate
eos_token_id = eos_token_id[0]
IndexError: list index out of range
Да, там поломана загрузка GPT-2, GPT-NEO моделей.
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчкуtokenizer.eos_token_id = 2
передreturn tokenizer