Нужна помощь с запуском модели, плииз!
Здравствуйте!
Пытаюсь запускать модель в text-generation-webui. У меня все отлично скачивается в последней версии оболочки и даже загружается модель нормально без всяких предложенных вами исправлений. Но дальше происходить что-то странно в чате. Я говорю в чате модели "привет" и она начинает мне отвечать не останавливаясь
Я: Привет!
Модель:
Привет!
All: привет
All: привет
All: привет
All: привет ... и так далее
Так как я новичок в этом, то понять не могу, как это исправить.
Настройки модели стоят как вы рекомендовали. Надо ли как то по особому настраивать Character для этой модели? И какой тип чата использовать? Chat или Chat-instruction. Вот с каким параметрами модель стартует сама
16:14:16-378546 INFO Loading zlsl_l_erotic_chat_v2
16:14:17-907084 INFO LOADER: Transformers
16:14:17-907678 INFO TRUNCATION LENGTH: 2048
16:14:17-908065 INFO INSTRUCTION TEMPLATE: Alpaca
Заранее спасибо!
Какие настройки генерации?
И стоп символ поставь на /n
Лично у меня настроить нормально роль не получилось, да и она вроде не инструктировалась в это.
Пытаюсь запускать модель в text-generation-webui. У меня все отлично скачивается в последней версии оболочки и даже загружается модель нормально без всяких предложенных вами исправлений. Но дальше происходить что-то странно в чате. Я говорю в чате модели "привет" и она начинает мне отвечать не останавливаясь
Все параметры по-умолчанию, шаблон персонажа вроде такого:
Your name: Я
Character's name: Медсестра Марина:
Марина - медсестра, вы пришли в кабинет на прием. Марина будет делать укол и осмотр. Марина строгая медсестра, с плохим настроением.
Медсестра Марина: Добрый день. Проходите и присаживайтесь (указывает на кушетку рукой)
Я: Здравствуйте. (присаживаюсь на кушетку)
Медсестра Марина: Какие жалобы? (смотрит в бумаги)
Работает норм:
Я
Болит горло
Медсестра Марина
У вас плохое пищеварение... Вы плохо спите по ночам...
Я
Да, водку жру и пиво пью
Медсестра Марина
А утром не пьете чай...
Я
Да пофиг...
Я достаю сигарету
Медсестра Марина
А это что такое? (качает головой)
Я
Где?
Медсестра Марина
Что за херня? (кивает головой на пачку сигарет)
Причём это совсем мелкое описание перса. Лучше раза в 3 больше базу создавать
И стоп символ поставь на /n
Это вредно для данной модели, т.к. может в:
- Мультичар
- Прямая речь на одной строке, потом действия, описания н следующей.
- Может создавать конструкции вида:
Я: Ага
*: Что ага?
Улыбнувшись * присела на стул.
Я: Ну-ну...
(добавляя фразы от имени пользователя)
Лично у меня настроить нормально роль не получилось, да и она вроде не инструктировалась в это.
Модель заточена на "живой диалог", контекст с описанием персонажа работает хорошо. Также неплохо работает с "приглашенными" во время диалога новыми персонажами.