# これはなに？
`stabilityai/japanese-stablelm-base-alpha-7b` を `rosebleu` データセットで学習した Lora

## 使い方
.\text-generation-webui\loras\Rosebleu となるように配置。  
`text-generation-webui` の `model` の LoRAから読み込める。

## データセット
https://gitlab.com/open_contents_datasets/Rosebleu  
Hシーンも含まれているみたいですが、特に区別せずに突っ込んでいます。

## 前処理とデータロード
中にあるすべてのtsvを全部繋て、csvにしただけ。
学習プロンプトはこの用にしているので、このフォーマットだと良くなったりすることがあるかもしれないし、ないかもしれない。  
コンテキスト長は2048にしているので、1行が2048トークン以上は切り捨てられているはず。
```
result = f'### name:\n{data_point["name"]}\n\n### text:\n{data_point["text"]}'
```