これはなに？
stabilityai/japanese-stablelm-base-alpha-7b を rosebleu データセットで学習した Lora
使い方
.\text-generation-webui\loras\Rosebleu となるように配置。text-generation-webui の model の LoRAから読み込める。
データセット
https://gitlab.com/open_contents_datasets/Rosebleu
Hシーンも含まれているみたいですが、特に区別せずに突っ込んでいます。
前処理とデータロード
中にあるすべてのtsvを全部繋て、csvにしただけ。
学習プロンプトはこの用にしているので、このフォーマットだと良くなったりすることがあるかもしれないし、ないかもしれない。
コンテキスト長は2048にしているので、1行が2048トークン以上は切り捨てられているはず。
result = f'### name:\n{data_point["name"]}\n\n### text:\n{data_point["text"]}'