|
--- |
|
language: -en |
|
license: other |
|
tags: |
|
- stable-diffusion |
|
- text-to-image |
|
datasets: nakayama/DeDeDeDataset |
|
--- |
|
# ご利用の際は下記のライセンス内容を十分にご確認ください。 |
|
If you can read English, please refer [here](https://huggingface.co/nakayama/DeDeDe/blob/main/README-en.md). |
|
|
|
DeDeDeはアニメ調の人物を出力しやすいように調整されたStable Diffusionモデルです。 |
|
ベースモデルの[DreamLike Diffusion 1.0](https://huggingface.co/dreamlike-art/dreamlike-diffusion-1.0)へ[Trinart Characters v2 Derrida](https://huggingface.co/naclbit/trinart_derrida_characters_v2_stable_diffusion) をStable Diffusion 1.4を用い差分マージしました。 |
|
そこから[DreamLike Photoreal 1.0](https://huggingface.co/dreamlike-art/dreamlike-photoreal-1.0)でIN0~5を調節、さらに30000枚のSD2.1、Novel AI、WD1.3/1.4、CoolJapan Diffusion 2.1、Dreamlike Photoreal 2.0で出力された画像でチューニングされています。 |
|
|
|
利用の際は以下のPrompt/Negative Promptをおすすめします。 |
|
P: best quality, masterpiece |
|
NP: 3d, flat shading, flat color, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb |
|
|
|
# 例 |
|
<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image06.png" style="max-width:400px;" width="50%"/> |
|
|
|
``` |
|
(((best quality, masterpiece, 8k))), detailed anime style of 1girl sitting in room and reading book wearing school uniform and wavy detailed pink hair pink and detailed yellow eye yellow, smiling |
|
Negative prompt: [[3d]], (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb |
|
Steps: 25, Sampler: Euler a, CFG scale: 8, Seed: 2277801742, Size: 512x768, Model hash: 6d1729a039, Denoising strength: 0.75, Clip skip: 2, ENSD: 31337, Hires upscale: 1.5, Hires upscaler: Latent |
|
``` |
|
|
|
<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image01.png" style="max-width:400px;" width="50%"/> |
|
|
|
``` |
|
(((best quality, masterpiece, 8k))), detailed anime style of anime 1girl bust shot sitting and dipping in river and wetty wearing white transparent onepiece dress with detailed wavy pink hair pink and hetailed yellow eye yellow, water splash in gorgeous scene secret garden |
|
Negative prompt: [[[3d]]], (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb |
|
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 8, Seed: 1117106368, Size: 512x768, Model hash: 6d1729a039, Denoising strength: 0.7, Clip skip: 2, ENSD: 31337, Hires resize: 768x1152, Hires steps: 5, Hires upscaler: Latent |
|
``` |
|
|
|
<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image02.png" style="max-width:400px;" width="50%"/> |
|
|
|
``` |
|
(((best quality, masterpiece))), detailed anime style of bunny girl bishoujo from front wearing intricate frill jirai kei bikini with detailed wavy pink hair pink and detailed yellow eye yellow and lying on the bed in (((glitter harajuku kawaii messy room with flower and candy))) |
|
Negative prompt: 3d, (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb, eating |
|
Steps: 50, Sampler: DPM++ SDE Karras, CFG scale: 5.5, Seed: 911018641, Size: 768x512, Model hash: 6d1729a039, Denoising strength: 0.2, Clip skip: 2, ENSD: 31337, Hires resize: 1152x768, Hires steps: 10, Hires upscaler: ESRGAN_4x |
|
``` |
|
|
|
<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image03.png" style="max-width:400px;" width="50%"/> |
|
|
|
``` |
|
(((best quality, masterpiece))), detailed anime style of 1girl bishoujo full body standing and looking from viewer and wearing classical frill dress with cape with wavy detailed pink hair pink and detailed yellow hair yellow in scenic view british fantastic landscape with flowing and golden hour, dynamic pose |
|
Negative prompt: [[[[3d]]]], (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb |
|
Steps: 15, Sampler: DPM++ SDE Karras, CFG scale: 5.5, Seed: 2149903685, Size: 768x512, Model hash: 6d1729a039, Denoising strength: 0.75, Clip skip: 2, ENSD: 31337, Hires resize: 1152x768, Hires steps: 10, Hires upscaler: Latent |
|
``` |
|
|
|
<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image04.png" style="max-width:400px;" width="50%"/> |
|
|
|
``` |
|
(((best quality, masterpiece, 8k))), detailed anime style of 1boy cowboy shot wearing samurai outfit with flat chest and fighting pose, fist, motion blur |
|
Negative prompt: 3d, flat shading, flat color, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb |
|
Steps: 20, Sampler: Euler a, CFG scale: 8, Seed: 2136917906, Size: 512x768, Model hash: 6d1729a039, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires resize: 768x1152, Hires steps: 20, Hires upscaler: Latent |
|
``` |
|
|
|
<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image05.png" style="max-width:400px;" width="50%"/> |
|
|
|
``` |
|
(((best quality, masterpiece, 8k))), detailed photorealistic style of 1boy cowboy shot wearing mad max outfit with flat chest and fighting pose, fist, motion blur, abandoned city background |
|
Negative prompt: (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb |
|
Steps: 20, Sampler: Euler a, CFG scale: 8, Seed: 3787706619, Size: 768x512, Model hash: 6d1729a039, Denoising strength: 0.7, Clip skip: 2, ENSD: 31337, Hires resize: 1152x768, Hires steps: 5, Hires upscaler: Latent |
|
``` |
|
|
|
# マージ・学習手順について |
|
以下、モデル横に記載されている記号列は、Automatic1111 Webui コミットハッシュ c98cb0f8ecc904666f47684e238dd022039ca16f 時点での、モデル選択時に記載されているckptのハッシュ値です。 |
|
1. Dreamlike Diffusion 1.0にTrinart Derridaを差分マージする |
|
| Interpolation Method | Primary Model | Secondary Model | Tertiary Model | Merge Name | |
|
| --- | --- | --- | --- | --- | |
|
| Add Difference @ 1.0 | DreamLike Diffusion 1.0(0aecbcfa2c) | TrinArt Characters v2 Derrida(42d3f359b0) | Stable Diffusion 1.4(fe4efff1e1) | DDD_pre1(d1ac03017b) | |
|
|
|
2. DDD_pre1にDreamlike Photoreal 1.0でIN00~IN05を階層マージで編集する |
|
| Model: A | Model: B | Weight | Base alpha | Merge Name | |
|
| --- | --- | --- | --- | --- | |
|
| DDD_pre1(d1ac03017b) | Dreamlike Photoreal 1.0(f403e4e2a5) | 0.45,0.45,0.4,0.35,0.3,0.25,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 | 0 | DDD_pre2(601ec74593) | |
|
|
|
3. DDD_pre2に対し、[自前で用意した他Diffusion Modelの出力からなる素材画像](https://huggingface.co/datasets/nakayama/DeDeDeDataset)にて学習させる |
|
用意の際に利用したサービス/モデルは、SD2.1、Novel AI、WD1.3/1.4、CoolJapan Diffusion 2.1、Dreamlike Photoreal 2.0。 |
|
総数は30000程、flipしたものと合わせてlearning rateは5e-6、60000Step学習させた。 |
|
これにより生成したモデルをDDD_pre3(4709475652)とする。 |
|
|
|
4. DDD_pre3にDDD_pre2を加重平均でマージする |
|
| Interpolation Method | Primary Model | Secondary Model | Merge Name | |
|
| --- | --- | --- | --- | |
|
| Weighted Sum @ 0.5 | DDD_pre3(4709475652) | DDD_pre2(601ec74593) | DeDeDe(6d1729a039) | |
|
|
|
# フレーバー |
|
## DeDeDe_ip2p_0.7_0.8.ckpt/DeDeDe_ip2p_0.7_1.0.ckpt |
|
[Instruct pix2pix](https://huggingface.co/timbrooks/instruct-pix2pix)モデルから[タスクベクトル](https://zenn.dev/discus0434/articles/ef418a8b0b3dc0)を抽出して加算したモデルです。 |
|
それぞれDeDeDe 0.8/Instruct Pix2Pix 0.7、DeDeDe 1.0/Instruct Pix2Pix 0.7の大きさとなります。 |
|
以下はInstruct Pix2Pixから継承したライセンスとなります。 |
|
Copyright (c) 2023 Ren Nakayama |
|
Released under the MIT license |
|
https://huggingface.co/nakayama/DeDeDe/blob/main/MIT-License |
|
|
|
## DeDeDe_controlnet_*.pth/DeDeDe_webui_controlnet_*.safetensors |
|
[ControlNet](https://github.com/lllyasviel/ControlNet)で用いられているモデルにDeDeDeをマージしたものです。 |
|
具体的な方法は[こちら](https://github.com/lllyasviel/ControlNet/discussions/12)をご確認ください。 |
|
|
|
## DeDeDeP |
|
https://huggingface.co/nakayama/DeDeDeP |
|
DeDeDeをベースにDreamlike Photoreal 1.0と階層マージを用いて編集したものです。 |
|
DeDeDeと比較してより写実的に出力が寄るようになっています。 |
|
|
|
# 備考 |
|
SNSなどに出力した作品をアップロードする際に、タグなどの機能があれば #DeDeDeArt などをつけていただければ嬉しいです。 |
|
私が見に行くので。 |
|
|
|
# ライセンスについて |
|
|
|
当モデルはDreamlike Diffusion 1.0 / Dreamlike Photoreal 1.0の影響下にあるため、上記モデルにおける**修正された**CreativeML OpenRAIL-M licenseが適用されます。 |
|
以下はDeepLで翻訳された修正分の日本語訳となりますが、解釈において優先される言語は英語となります。 |
|
|
|
- **あなたが収入や寄付を得る、または得る予定のウェブサイト/アプリ/その他で、このモデルやその派生物をホストしたり使用したりすることはできません。もしそうしたいのなら、contact@dreamlike.art までメールしてください。** |
|
- **あなたは、モデルカードとファイル（実際の推論やファインチューニングを伴わない）を、商用および非商用のウェブサイト／アプリ／その他に自由にホストすることができます。完全なモデル名（Dreamlike Diffusion 1.0 / Dreamlike Photoreal 1.0）を明記し、モデルカードへのリンク（ https://huggingface.co/dreamlike-art/dreamlike-diffusion-1.0 / https://huggingface.co/dreamlike-art/dreamlike-photoreal-1.0/ ）を含めてください。** |
|
- **完全に非商用なウェブサイトやアプリなどで、モデルやその派生物を自由にホストすることができます（収益や寄付を一切得ていないことを意味します）。完全なモデル名（Dreamlike Diffusion 1.0 / Dreamlike Photoreal 1.0）を明記し、モデルカード（ https://huggingface.co/dreamlike-art/dreamlike-diffusion-1.0 / https://huggingface.co/dreamlike-art/dreamlike-photoreal-1.0/ ）へのリンクを添付してください。** |
|
- **10人以下のチームで、モデルの出力またはモデルの派生物の出力を商業目的で自由に使用することができます。** |
|
- あなたは、違法または有害な出力やコンテンツを意図的に作成したり共有したりするために、このモデルを使用することはできません。 |
|
- あなたが生成した出力について、作者はいかなる権利も主張しません。あなたはそれらを自由に使用することができ、ライセンスで定められた規定に反してはならないその使用について責任を負います。 |
|
- あなたはウェイトを再配布することができます。再配布する場合は、ライセンスにあるものと同じ使用制限を含め、**修正した**CreativeML OpenRAIL-Mのコピーをすべてのユーザーと共有しなければならないことに注意してください（ライセンスを完全にかつ慎重にお読みください） ライセンス全文はこちらでご覧ください：https://huggingface.co/nakayama/DeDeDe/blob/main/License.md |
