Dedede

🚀 DeDeDe

DeDeDeはアニメ調の人物を出力しやすいように調整されたStable Diffusionモデルです。ベースモデルにDreamLike Diffusion 1.0を使用し、Trinart Characters v2 Derridaを差分マージし、さらにDreamLike Photoreal 1.0で調節し、独自のデータセットでチューニングされています。

🚀 クイックスタート

ご利用の際は下記のライセンス内容を十分にご確認ください。 If you can read English, please refer here.

✨ 主な機能

• アニメ調の人物を出力しやすいように調整されています。
• 独自のデータセットでチューニングされており、高品質な出力が期待できます。

💻 使用例

基本的な使用法

利用の際は以下のPrompt/Negative Promptをおすすめします。

P: best quality, masterpiece    
NP: 3d, flat shading, flat color, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb

高度な使用法

以下に具体的な使用例を示します。

例1

``` (((best quality, masterpiece, 8k))), detailed anime style of 1girl sitting in room and reading book wearing school uniform and wavy detailed pink hair pink and detailed yellow eye yellow, smiling Negative prompt: [[3d]], (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb Steps: 25, Sampler: Euler a, CFG scale: 8, Seed: 2277801742, Size: 512x768, Model hash: 6d1729a039, Denoising strength: 0.75, Clip skip: 2, ENSD: 31337, Hires upscale: 1.5, Hires upscaler: Latent ```

例2

``` (((best quality, masterpiece, 8k))), detailed anime style of anime 1girl bust shot sitting and dipping in river and wetty wearing white transparent onepiece dress with detailed wavy pink hair pink and hetailed yellow eye yellow, water splash in gorgeous scene secret garden Negative prompt: [[[3d]]], (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 8, Seed: 1117106368, Size: 512x768, Model hash: 6d1729a039, Denoising strength: 0.7, Clip skip: 2, ENSD: 31337, Hires resize: 768x1152, Hires steps: 5, Hires upscaler: Latent ```

（他の例も同様に記載）

🔧 技術詳細

マージ・学習手順について

以下、モデル横に記載されている記号列は、Automatic1111 Webui コミットハッシュ c98cb0f8ecc904666f47684e238dd022039ca16f 時点での、モデル選択時に記載されているckptのハッシュ値です。

1. Dreamlike Diffusion 1.0にTrinart Derridaを差分マージする | Interpolation Method | Primary Model | Secondary Model | Tertiary Model | Merge Name | | --- | --- | --- | --- | --- | | Add Difference @ 1.0 | DreamLike Diffusion 1.0(0aecbcfa2c) | TrinArt Characters v2 Derrida(42d3f359b0) | Stable Diffusion 1.4(fe4efff1e1) | DDD_pre1(d1ac03017b) |

2. DDD_pre1にDreamlike Photoreal 1.0でIN00~IN05を階層マージで編集する | Model: A | Model: B | Weight | Base alpha | Merge Name | | --- | --- | --- | --- | --- | | DDD_pre1(d1ac03017b) | Dreamlike Photoreal 1.0(f403e4e2a5) | 0.45,0.45,0.4,0.35,0.3,0.25,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 | 0 | DDD_pre2(601ec74593) |

3. DDD_pre2に対し、自前で用意した他Diffusion Modelの出力からなる素材画像にて学習させる
   用意の際に利用したサービス/モデルは、SD2.1、Novel AI、WD1.3/1.4、CoolJapan Diffusion 2.1、Dreamlike Photoreal 2.0。
   総数は30000程、flipしたものと合わせてlearning rateは5e-6、60000Step学習させた。
   これにより生成したモデルをDDD_pre3(4709475652)とする。

4. DDD_pre3にDDD_pre2を加重平均でマージする | Interpolation Method | Primary Model | Secondary Model | Merge Name | | --- | --- | --- | --- | | Weighted Sum @ 0.5 | DDD_pre3(4709475652) | DDD_pre2(601ec74593) | DeDeDe(6d1729a039) |

フレーバー

DeDeDe_ip2p_0.7_0.8.ckpt/DeDeDe_ip2p_0.7_1.0.ckpt

Instruct pix2pixモデルからタスクベクトルを抽出して加算したモデルです。
それぞれDeDeDe 0.8/Instruct Pix2Pix 0.7、DeDeDe 1.0/Instruct Pix2Pix 0.7の大きさとなります。
以下はInstruct Pix2Pixから継承したライセンスとなります。
Copyright (c) 2023 Ren Nakayama
Released under the MIT license
https://huggingface.co/nakayama/DeDeDe/blob/main/MIT-License

DeDeDe_controlnet_.pth/DeDeDe_webui_controlnet_.safetensors

ControlNetで用いられているモデルにDeDeDeをマージしたものです。
具体的な方法はこちらをご確認ください。

DeDeDeP

https://huggingface.co/nakayama/DeDeDeP
DeDeDeをベースにDreamlike Photoreal 1.0と階層マージを用いて編集したものです。
DeDeDeと比較してより写実的に出力が寄るようになっています。

📄 ライセンス

当モデルはDreamlike Diffusion 1.0 / Dreamlike Photoreal 1.0の影響下にあるため、上記モデルにおける修正されたCreativeML OpenRAIL-M licenseが適用されます。
以下はDeepLで翻訳された修正分の日本語訳となりますが、解釈において優先される言語は英語となります。

• あなたが収入や寄付を得る、または得る予定のウェブサイト/アプリ/その他で、このモデルやその派生物をホストしたり使用したりすることはできません。もしそうしたいのなら、contact@dreamlike.art までメールしてください。
• あなたは、モデルカードとファイル（実際の推論やファインチューニングを伴わない）を、商用および非商用のウェブサイト／アプリ／その他に自由にホストすることができます。完全なモデル名（Dreamlike Diffusion 1.0 / Dreamlike Photoreal 1.0）を明記し、モデルカードへのリンク（ https://huggingface.co/dreamlike-art/dreamlike-diffusion-1.0 / https://huggingface.co/dreamlike-art/dreamlike-photoreal-1.0/ ）を含めてください。
• 完全に非商用なウェブサイトやアプリなどで、モデルやその派生物を自由にホストすることができます（収益や寄付を一切得ていないことを意味します）。完全なモデル名（Dreamlike Diffusion 1.0 / Dreamlike Photoreal 1.0）を明記し、モデルカード（ https://huggingface.co/dreamlike-art/dreamlike-diffusion-1.0 / https://huggingface.co/dreamlike-art/dreamlike-photoreal-1.0/ ）へのリンクを添付してください。
• 10人以下のチームで、モデルの出力またはモデルの派生物の出力を商業目的で自由に使用することができます。
• あなたは、違法または有害な出力やコンテンツを意図的に作成したり共有したりするために、このモデルを使用することはできません。
• あなたが生成した出力について、作者はいかなる権利も主張しません。あなたはそれらを自由に使用することができ、ライセンスで定められた規定に反してはならないその使用について責任を負います。
• あなたはウェイトを再配布することができます。再配布する場合は、ライセンスにあるものと同じ使用制限を含め、修正したCreativeML OpenRAIL-Mのコピーをすべてのユーザーと共有しなければならないことに注意してください（ライセンスを完全にかつ慎重にお読みください） ライセンス全文はこちらでご覧ください：https://huggingface.co/nakayama/DeDeDe/blob/main/License.md

📚 ドキュメント

備考

SNSなどに出力した作品をアップロードする際に、タグなどの機能があれば #DeDeDeArt などをつけていただければ嬉しいです。
私が見に行くので。