shirayu commited on
Commit
58e64f8
1 Parent(s): e3afef2

Add README

Browse files
Files changed (1) hide show
  1. README.md +112 -0
README.md ADDED
@@ -0,0 +1,112 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: creativeml-openrail-m
3
+ language:
4
+ - en
5
+ tags:
6
+ - stable-diffusion
7
+ - stable-diffusion-diffusers
8
+ - text-to-image
9
+
10
+ ---
11
+
12
+ [東北ずん子プロジェクト](https://zunko.jp/)のキャラクターイラストを用いてDreamBoothで学習したモデルです.
13
+
14
+ - ``itako``: 東北イタコ
15
+ - ``zunko``: 東北ずん子
16
+ - ``kiritan``: 東北きりたん
17
+ - ``zundamon``: ずんだもん (人間形態)
18
+ - ``metan``: 四国めたん
19
+ - ``usagi``: 中国うさぎ
20
+ - ``awamo``: 沖縄あわも
21
+ - ``shinobi``: 関西しのび
22
+ - ``hokamel``: 北海道めろん
23
+ - ``sora``: 九州そら
24
+ - ``chanko``: 大江戸ちゃんこ
25
+
26
+ 学習画像はなるべく衣装にバリエーションをもたせているので,「公式衣装」は出にくいです.
27
+
28
+ [shirayu/sd-tohoku-v1](https://huggingface.co/shirayu/sd-tohoku-v1)と比べてキャラクターが増え,
29
+ 学習元モデルも変更しています.
30
+ ただし,全てが改善されているとはいえません.
31
+ (例えば``itako``の画像が非常に出力しにくいです.)
32
+
33
+ その理由として
34
+
35
+ - 1キャラクターあたりの学習枚数を16枚に絞った
36
+ - 同時に学習したキャラクターが11名と多い
37
+ - 学習元モデルがまだEpoch 1での学習結果である
38
+
39
+ など様々な理由が考えられます.
40
+
41
+ [shirayu/sd-tohoku-v1](https://huggingface.co/shirayu/sd-tohoku-v1)と比較して,
42
+ その時々によって使い分けをされることをおすすめします.
43
+
44
+ ## ファイル形式
45
+
46
+ 1. [AUTOMATIC1111/stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)などckptファイルを読み込むツールの場合
47
+
48
+ [sd-tohoku-v2.model.ckpt](https://huggingface.co/shirayu/sd-tohoku-v2/resolve/main/ckpt/sd-tohoku-v2.model.ckpt)(約2.5GB)と[sd-tohoku-v2.yaml](https://huggingface.co/shirayu/sd-tohoku-v2/resolve/main/ckpt/sd-tohoku-v2.model.yaml)をダウンロードして読み込んでください
49
+
50
+ 2. [diffusers](https://github.com/huggingface/diffusers)から利用する場合
51
+
52
+ ```python
53
+ from diffusers import DiffusionPipeline
54
+ pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v2")
55
+ ```
56
+
57
+ ## 紹介動画
58
+
59
+ ## ライセンス
60
+
61
+ [CreativeML Open RAIL-M license 1.0](https://hf.space/static/bigscience/license/index.html)
62
+
63
+ また,各種法令・各種ガイドラインにご留意ください.
64
+ 例えば,生成された画像が東北ずん子プロジェクトのキャラクターを含む場合,
65
+ [「東北ずん子プロジェクト キャラクター利用の手引き」](https://zunko.jp/guideline.html)に基づいて利用してください.
66
+
67
+ ## 学習設定
68
+
69
+ - 元モデル: [Waifu Diffusion 1.4 Anime Epoch 1](https://huggingface.co/hakurei/waifu-diffusion-v1-4) (``wd-1-4-anime_e1.ckpt``)
70
+ - 学習画像
71
+ - 11キャラクター計111枚
72
+ - アルファチャンネルは削除 + 白背景 + センタリング + 448x640にリサイズ
73
+ - 正則化画像なし
74
+ - 学習元コード: [ShivamShrirao/diffusers](https://github.com/ShivamShrirao/diffusers) (``85d8b49``)
75
+ - 学習設定
76
+ - Instance ID: ``itako``, ``zunko``, ``kiritan``, ``zundamon``, ``metan``, ``usagi``, ``awamo``, ``shinobi``, ``hokamel``, ``sora``, ``chanko`` (11種)
77
+ - Instance prompt: ``<ID>, 1girl``
78
+ - NVIDIA A100で約160分, 600エポック
79
+ - 学習用コマンド
80
+
81
+ ```bash
82
+ accelerate launch \
83
+ --num_cpu_threads_per_process 12 \
84
+ train_db.py \
85
+ --pretrained_model_name_or_path="wd-1-4-anime_e1.ckpt" \
86
+ --train_data_dir="/content/data/img_train" \
87
+ --reg_data_dir="/content/data/img_reg" \
88
+ --output_dir="/content/data/output_models" \
89
+ --prior_loss_weight=1.0 \
90
+ --resolution="448,640" \
91
+ --train_batch_size="4" \
92
+ --learning_rate="1e-6" \
93
+ --max_train_steps="8400" \
94
+ --use_8bit_adam \
95
+ --cache_latents \
96
+ --v2 \
97
+ --logging_dir="/content/data/logs" \
98
+ --save_every_n_epochs "10" \
99
+ --save_last_n_epochs "1" \
100
+ --save_state \
101
+ --mixed_precision='fp16'
102
+ ```
103
+
104
+ 後半300エポックは``--output_dir``を変え,``--resume /content/data/output_models/last-state``で再開.
105
+
106
+ ## 学習に使った画像
107
+
108
+ TBA
109
+
110
+ ## 生成例
111
+
112
+ TBA