Pastel Mix

🚀 パステルミックス

このモデルは、数少ないプロンプトで高品質かつ非常に詳細なアニメスタイルの画像を生成することを目的とした、スタイリッシュな潜在拡散モデルです。パステル調のアートを模倣し、LORAをモデルに組み込むことで素晴らしいミックスを作り出すことを念頭に開発されています。

🚀 クイックスタート

更新履歴

[2022年1月27日] モデルをCivitAIにアップロードしました！ → https://civitai.com/models/5414/pastel-mix-stylized-anime-model 評価いただけると幸いです。ありがとう！

[2022年2月2日] Loraバージョンをアップロードしました。

このモデルは、他のStable Diffusionモデルと同じように使用できます。詳細については、Stable Diffusionを参照してください。また、モデルをONNX、MPS、および/またはFLAX/JAXにエクスポートすることもできます。

Gitでのダウンロード方法

git lfs install
git clone https://huggingface.co/andite/pastel-mix

Diffusersを使用したコード例

from diffusers import StableDiffusionPipeline
import torch

model_id = "andite/pastel-mix"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "hatsune_miku"
image = pipe(prompt).images[0]

image.save("./hatsune_miku.png")

Gradioを使用したWeb UI

このモデルはGradioのWeb UIで実行することができます。

✨ 主な機能

このモデルは、高品質で詳細なアニメスタイルの画像を生成することができます。パステル調のアートを模倣したスタイルが特徴で、LORAを組み込むことで多様な表現が可能です。他のアニメスタイルのStable Diffusionモデルと同様に、danbooruタグをサポートしています。

💻 使用例

基本的な使用法

masterpiece, best quality, ultra-detailed, illustration, portrait, 1girl
Negative prompt: lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 448x640, Model hash: 7edc8e08, Model: pastelmix-fp32, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires resize: 960x1280, Hires steps: 20, Hires upscaler: Latent

高度な使用法

mksks style, masterpiece, best quality, upper body, 1girl, looking at viewer, red hair, medium hair, purple eyes, demon horns, black coat, indoors, dimly lit
Negative prompt: lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 580841049, Size: 448x640, Model hash: 7edc8e08, Model: pastelmix-fp32, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires resize: 960x1280, Hires steps: 20, Hires upscaler: Latent

📚 ドキュメント

'better-vae'バージョンについて

このバージョンでは、pastel-waifu-diffusion.vae.ptをモデル内に統合しているため、VAEの設定をする必要がなくなりました。

pastelmix-lora.safetensorsについて

これは、add-differenceメソッドに似たスクリプトを使用してpastel-mixからLORAを抽出して作成されたLoraバージョンです。 https://github.com/bmaltais/kohya_ss/blob/master/train_network_README.md

設定ガイド

設定やパラメータについては、以下の設定をおすすめします。

Sampler: DPM++ 2M Karras
Steps: 20
CFG Scale: 7
Hires. Fix: On
Upscaler: Latent (必須!)
Hires Steps: 20
Denoising Strength: 0.6

このモデルでは0.6が最適な設定です。もしより良い設定を見つけた場合は、それが最適です。Latentアップスケーラーはパステルスタイルを維持または強調するため、私にとって最適な設定です。他のアップスケーラー（LanczosやAnime6Bなど）は、画像を滑らかにしてしまい、パステル調の筆触が失われる傾向があります。

このリポジトリにアップロードしたVAEを使用してください。これはWaifu Diffusionチームのものです。haruに名前を変更してアップロードする許可をいただきました。

モデルの合成レシピ

モデルのマージ

LORAのマージ

📄 ライセンス

このモデルはオープンアクセスで、すべての人が利用できます。CreativeML OpenRAIL-Mライセンスによって、権利と使用方法がさらに規定されています。CreativeML OpenRAILライセンスでは以下のことが規定されています。

1. モデルを使用して、違法または有害な出力やコンテンツを意図的に生成または共有することはできません。
2. 作成者は、生成した出力に対して権利を主張しません。出力を自由に使用できますが、ライセンスに定められた規定に違反しないように使用する責任があります。
3. 重みを再配布し、モデルを商用および/またはサービスとして使用することができます。その場合は、ライセンスに記載されている同じ使用制限を含め、CreativeML OpenRAIL-Mのコピーをすべてのユーザーに共有する必要があります（ライセンスを完全にかつ注意深く読んでください）。 ライセンス全文はこちら

謝辞

素晴らしいLORAを提供してくれた東方Project AIコミュニティの皆さんに感謝します。

• Closertodeathには、dpepmkmpモデルとLORA（xlimo768、dpep 2 768）を提供していただきました。
• dolphinz/sometimes#9353には、tabiアートスタイルのLORAを提供していただきました。
• SatyamSSJ10には、Jordan_3 LORAを提供していただきました。
• randomaccessmemories#4004には、Magic Loraを提供していただきました。