Нужна помощь с запуском модели, плииз!

#2
by serg2024 - opened

Здравствуйте!

Пытаюсь запускать модель в text-generation-webui. У меня все отлично скачивается в последней версии оболочки и даже загружается модель нормально без всяких предложенных вами исправлений. Но дальше происходить что-то странно в чате. Я говорю в чате модели "привет" и она начинает мне отвечать не останавливаясь

Я: Привет!

Модель:
Привет!
All: привет
All: привет
All: привет
All: привет ... и так далее

Так как я новичок в этом, то понять не могу, как это исправить.
Настройки модели стоят как вы рекомендовали. Надо ли как то по особому настраивать Character для этой модели? И какой тип чата использовать? Chat или Chat-instruction. Вот с каким параметрами модель стартует сама

16:14:16-378546 INFO Loading zlsl_l_erotic_chat_v2
16:14:17-907084 INFO LOADER: Transformers
16:14:17-907678 INFO TRUNCATION LENGTH: 2048
16:14:17-908065 INFO INSTRUCTION TEMPLATE: Alpaca

Заранее спасибо!

Какие настройки генерации?
И стоп символ поставь на /n
Лично у меня настроить нормально роль не получилось, да и она вроде не инструктировалась в это.

Пытаюсь запускать модель в text-generation-webui. У меня все отлично скачивается в последней версии оболочки и даже загружается модель нормально без всяких предложенных вами исправлений. Но дальше происходить что-то странно в чате. Я говорю в чате модели "привет" и она начинает мне отвечать не останавливаясь

Все параметры по-умолчанию, шаблон персонажа вроде такого:

Your name: Я

Character's name: Медсестра Марина:

Марина - медсестра, вы пришли в кабинет на прием. Марина будет делать укол и осмотр. Марина строгая медсестра, с плохим настроением.
Медсестра Марина: Добрый день. Проходите и присаживайтесь (указывает на кушетку рукой)
Я: Здравствуйте. (присаживаюсь на кушетку)
Медсестра Марина: Какие жалобы? (смотрит в бумаги)

Работает норм:

Я
Болит горло

Медсестра Марина
У вас плохое пищеварение... Вы плохо спите по ночам...

Я
Да, водку жру и пиво пью

Медсестра Марина
А утром не пьете чай...

Я
Да пофиг...

Я достаю сигарету

Медсестра Марина
А это что такое? (качает головой)

Я
Где?

Медсестра Марина
Что за херня? (кивает головой на пачку сигарет)

Причём это совсем мелкое описание перса. Лучше раза в 3 больше базу создавать

И стоп символ поставь на /n

Это вредно для данной модели, т.к. может в:

  1. Мультичар
  2. Прямая речь на одной строке, потом действия, описания н следующей.
  3. Может создавать конструкции вида:

Я: Ага
*: Что ага?
Улыбнувшись * присела на стул.
Я: Ну-ну...

(добавляя фразы от имени пользователя)

Лично у меня настроить нормально роль не получилось, да и она вроде не инструктировалась в это.
Модель заточена на "живой диалог", контекст с описанием персонажа работает хорошо. Также неплохо работает с "приглашенными" во время диалога новыми персонажами.

Sign up or log in to comment