Pastel Mix

🚀 Pastel Mix

Pastel Mix 是一款風格化的潛在擴散模型，旨在通過少量提示詞生成高質量、高細節的動漫風格圖像。它模仿了類似粉彩的藝術風格，並融合了多種 LORA 模型，還支持使用 danbooru 標籤生成圖像。

🚀 快速開始

使用 Git 下載

git lfs install
git clone https://huggingface.co/andite/pastel-mix

🧨 Diffusers 使用方法

該模型的使用方式與其他 Stable Diffusion 模型相同。更多信息請參考 Stable Diffusion。 你還可以將模型導出為 ONNX、MPS 和/或 FLAX/JAX 格式。

from diffusers import StableDiffusionPipeline
import torch

model_id = "andite/pastel-mix"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "hatsune_miku"
image = pipe(prompt).images[0]

image.save("./hatsune_miku.png")

Gradio 在線體驗

我們支持通過 Gradio Web UI 運行 Pastel Mix 模型：

✨ 主要特性

• 高質量動漫風格：能夠生成具有高細節和高質量的動漫風格圖像。
• 支持 danbooru 標籤：可以使用 danbooru 標籤來引導圖像生成。
• 融合 LORA 模型：通過融合多種 LORA 模型，創造出獨特的圖像風格。

💻 使用示例

基礎用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "andite/pastel-mix"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "masterpiece, best quality, upper body, 1girl, looking at viewer, red hair, medium hair, purple eyes, demon horns, black coat, indoors, dimly lit"
image = pipe(prompt).images[0]

image.save("./example.png")

高級用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "andite/pastel-mix"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "mksks style, masterpiece, best quality, upper body, 1girl, looking at viewer, red hair, medium hair, purple eyes, demon horns, black coat, indoors, dimly lit"
negative_prompt = "lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))"
image = pipe(prompt, negative_prompt=negative_prompt).images[0]

image.save("./advanced_example.png")

📚 詳細文檔

示例圖像及參數

示例 1

masterpiece, best quality, ultra-detailed, illustration, portrait, 1girl
Negative prompt: lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 448x640, Model hash: 7edc8e08, Model: pastelmix-fp32, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires resize: 960x1280, Hires steps: 20, Hires upscaler: Latent

示例 2

masterpiece, best quality, ultra-detailed, illustration, portrait, hakurei reimu, 1girl, throne room, dimly lit
Negative prompt: lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 448x640, Model hash: 7edc8e08, Model: pastelmix-fp32, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires resize: 960x1280, Hires steps: 20, Hires upscaler: Latent

'better-vae' 版本說明

我將 pastel-waifu-diffusion.vae.pt 合併到了模型中，這樣你就無需再單獨設置 VAE 了。

pastelmix-lora.safetensors 說明

這是一個 LORA 版本，它是通過類似於 add-difference 方法的腳本從 Pastel Mix 中提取 LORA 得到的。 詳細信息

使用指南

對於設置或參數，我推薦使用以下設置：

Sampler: DPM++ 2M Karras
Steps: 20
CFG Scale: 7
Hires. Fix: On
Upscaler: Latent (MUST!)
Hires Steps: 20
Denoising Strength: 0.6

我更喜歡使用 0.6 的去噪強度，因為這是該模型的最佳平衡點。如果你能為該模型找到更好的設置，那當然更好啦。 潛在上採樣器對我來說是最好的設置，因為它可以保留或增強粉彩風格。其他上採樣器（如 Lanczos 或 Anime6B）往往會使圖像變得平滑，去除類似粉彩的筆觸。 請使用我在本倉庫中上傳的 VAE，它來自 Waifu Diffusion 團隊。感謝 haru 允許我重命名並上傳它。

提示（可選）

在提示詞開頭添加 mksks style 可以進一步影響類似粉彩的風格，使輸出效果更好。不過這是可選的，你可以根據自己的需求決定是否使用。

mksks style, masterpiece, best quality, upper body, 1girl, looking at viewer, red hair, medium hair, purple eyes, demon horns, black coat, indoors, dimly lit
Negative prompt: lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 580841049, Size: 448x640, Model hash: 7edc8e08, Model: pastelmix-fp32, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires resize: 960x1280, Hires steps: 20, Hires upscaler: Latent

模型融合配方

模型合併

LORA 合併

📄 許可證

該模型採用 CreativeML OpenRAIL-M 許可證，允許所有人免費使用。該許可證規定：

1. 你不得使用該模型故意生成或分享非法或有害的輸出或內容。
2. 作者對您生成的輸出不主張任何權利，您可以自由使用它們，但需對其使用負責，且不得違反許可證中的規定。
3. 您可以重新分發模型權重，並將模型用於商業用途或作為服務使用。如果您這樣做，請確保包含與許可證中相同的使用限制，並向所有用戶分享 CreativeML OpenRAIL-M 許可證的副本（請完整、仔細地閱讀許可證）。 請在此處閱讀完整許可證

致謝

感謝 東方Project AI 社區提供的優秀 LORA。

• Closertodeath 提供了 dpepmkmp 模型以及 xlimo768、dpep 2 768 LORA。
• dolphinz/sometimes#9353 提供了 tabi 藝術風格的 LORA。
• SatyamSSJ10 提供了 Jordan_3 LORA。
• randomaccessmemories#4004 提供了 Magic Lora。