|
--- |
|
license: cc-by-nc-nd-4.0 |
|
language: |
|
- ru |
|
library_name: adapter-transformers |
|
pipeline_tag: text-generation |
|
tags: |
|
- rugpt |
|
- chat |
|
- lora |
|
- erotic |
|
- porn |
|
--- |
|
|
|
LoRA (rank 16, alpha 16) улучшает диалоги на кхм, пикантные темы для ruGPT-3.5-13B. |
|
|
|
Обучается на 4-bit GPTQ модели ruGPT-3.5-13B, как будет работать на полной и 8-битной модели не проверял, на 4-х битах результат очень хороший. LoRA будет регулярно обновляться. |
|
|
|
Датасет - input-output с контекстом, на данный момент ~1Гб |
|
|
|
В стоп-лист добавляйте "\n", "<\/s>" |
|
|
