shirayu/sd-tohoku-v3a · Hugging Face

東北ずん子プロジェクトの公式キャラクターイラストをもとに作成したStable Diffusion 1.4系統のLoRAファイルです
Stable Diffusion 2.1系統のLoRAはsd-tohoku-v3bをご利用ください

キャラクター	種類	トリガーワード	推奨ファイル
東北イタコ	衣装指定なし	`Itako`	sd-tohoku-v3a.2.Itako.safetensors
	公式衣装	`ItakoOC`	sd-tohoku-v3a.2.ItakoOC.safetensors
	衣装単体	`Itoc`	sd-tohoku-v3a.2.Itoc.safetensors
東北ずん子	衣装指定なし	`Zunko`	sd-tohoku-v3a.2.Zunko.safetensors
	公式衣装	`ZunkoOC`	sd-tohoku-v3a.2.ZunkoOC.safetensors
	衣装単体	`Zuoc`	sd-tohoku-v3a.2.Zuoc.safetensors
東北きりたん	衣装指定なし	`Kiritan`	sd-tohoku-v3a.2.Kiritan.safetensors
	公式衣装	`KiritanOC`	sd-tohoku-v3a.2.KiritanOC.safetensors
	衣装単体	`Kioc`	sd-tohoku-v3a.2.Kioc.safetensors
ずんだもん	人間形態	`Zundamon`	sd-tohoku-v3a.2.Zundamon.safetensors
	妖精形態	`Zfr`	sd-tohoku-v3a.2.Zfr.safetensors
暗黒大将軍		`Anko`	sd-tohoku-v3a.2.Anko.safetensors
沖縄あわも		`Awamo`	sd-tohoku-v3a.2.Awamo.safetensors
大江戸ちゃんこ		`Chanko`	sd-tohoku-v3a.2.Chanko.safetensors
北海道めろん		`Hokamel`	sd-tohoku-v3a.2.Hokamel.safetensors
四国めたん		`Metan`	sd-tohoku-v3a.2.Metan.safetensors
関西しのび		`Shinobi`	sd-tohoku-v3a.2.Shinobi.safetensors
九州そら		`Sora`	sd-tohoku-v3a.2.Sora.safetensors
中国うさぎ		`Usagi`	sd-tohoku-v3a.2.Usagi.safetensors

学習データに公式キャラクターイラスト以外は用いておらず，正則化画像も用いていません．
「東北イタコ」には「青い霊」は含まれていません
「東北きりたん」には「きりたん砲」は含まれていません

利用例

AUTOMATIC1111/stable-diffusion-webuiをセットアップしてください
お好みのSD1.4系のモデルファイルをmodels/Stable-diffusionにダウンロードしてください
- ACertaintyを利用する例
  1. ACertainty.ckptをダウンロードする
本レポジトリのLoRAファイルをmodels/Loraディレクトリに置いてください

WebUIを起動し，以下のように，トリガーワードとLoRAファイル指定を含んだプロンプトを入力して生成してみてください

sd-tohoku-v3a.2.Zunko.safetensorsを利用する例:

Positiveプロンプト: <lora:sd-tohoku-v3a.2.Zunko:1>Zunko, 1girl, smile, sit on chair, garden, (looking at viewer:1.2)
Negativeプロンプト: worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry

<lora:NAME:value>のような形式で用いるLoRAを指定できます．
NAMEにファイル名(拡張子を除く)，valueにLoRA強度を指定してください．
強度を0.5など低くすることでLoRA適用の影響力を下げられます

(さらなる設定) 以下のような設定を行うと，より良い出力を得られるかもしれません
- VAEの変更: kl-f8-anime2.ckptをmodels/VAEにダウンロードし，ACertainty.vae.ckptにリネームすると自動的に読み込まれるようになります
- Clip skipを2にする
- hako-mikan/sd-webui-lora-block-weightを利用しLoRAの強さを細かく制御する

ファイルリスト

Version. 4: sd-tohoku-v3a.4
- dim=64, alpha=32
- dim=1, alpha=1で画風をLoRA学習させ，ACertaintyにマージしたものをベースモデルとしました
Version. 3: sd-tohoku-v3a.3
- dim=128, alpha=64
Version. 2: sd-tohoku-v3a.2
- dim=64, alpha=32
Version. 1: sd-tohoku-v3a.1
- dim=32, alpha=16

生成例

冒頭の例

Positive prompt:
<lora:sd-tohoku-v3a.VERSION.CHARACTER:1>CHARACTER, 1girl, smile, sit on chair, garden, (looking at viewer:1.2)

Negative prompt:
worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry

Steps: 20
Sampler: DPM++ 2M Karras
CFG scale: 7
Seed: 1487688172
Size: 768x1024
Model hash: a64573359a (ACertainty)
Clip skip: 2

ライセンス

CreativeML Open RAIL-M license 1.0

また，各種法令・各種ガイドラインにご留意ください．例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合，「東北ずん子プロジェクトキャラクター利用の手引き」に基づいて利用してください．

以前のバージョンとの違い

shirayu/sd-tohoku-v1や shirayu/sd-tohoku-v2では Stable Diffusionモデル自体を更新していました．そのため，ファイルサイズが巨大という課題がありました．その後，LoRA (Low-Rank Adaptation)という既存のモデルにくっつける「追加回路」を学習する技術が利用できるようになり，先程の問題は大幅に軽減されるようになりました．

この「追加回路」は学習時に使われるモデルだけでなく，「似ている」モデルにも適用可能です．この学習ではACertaintyをベースにしています．そのため． Stable Diffusion 1.4, 1.5系統のモデルで利用できます．ただし，大幅にチューニングされているモデルでは良い結果は得られない可能性が高くなります．