Ghibli Diffusion

🚀 吉卜力风格扩散模型

这是一个基于吉卜力工作室现代动画长片图像微调的Stable Diffusion模型。在提示词中使用 ghibli style 标记即可实现相应效果。

🚀 快速开始

本模型的使用方式与其他Stable Diffusion模型相同。更多信息，请查看 Stable Diffusion。

你还可以将模型导出为 ONNX、MPS 和/或 FLAX/JAX 格式。

💻 使用示例

基础用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "nitrosocke/Ghibli-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "ghibli style magical princess with golden hair"
image = pipe(prompt).images[0]

image.save("./magical_princess.png")

✨ 主要特性

• 风格独特：基于吉卜力工作室现代动画长片图像训练，能生成具有吉卜力风格的图像。
• 使用灵活：可像其他Stable Diffusion模型一样使用，还支持多种格式导出。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

📚 详细文档

模型训练

该模型由ShivamShrirao基于diffusers的dreambooth训练方法，使用先验保留损失和 train-text-encoder 标志，经过15000步训练而成。

提示词与设置示例

• 风暴兵图像
  • 提示词：ghibli style (storm trooper) Negative prompt: (bad anatomy)
  • 设置：Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3450349066, Size: 512x704
• 大众甲壳虫图像
  • 提示词：ghibli style VW beetle Negative prompt: soft blurry
  • 设置：Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 1529856912, Size: 704x512

模型效果展示

• 角色图像
• 汽车与动物图像
• 风景图像 ghibli style beautiful Caribbean beach tropical (sunset) - Negative prompt: soft blurry ghibli style ice field white mountains ((northern lights)) starry sky low horizon - Negative prompt: soft blurry

🔧 技术细节

本模型使用基于diffusers的dreambooth训练方法，结合先验保留损失和 train-text-encoder 标志，经过15000步训练。

📄 许可证

本模型采用CreativeML OpenRAIL - M许可证，向所有人开放使用。该许可证规定：

1. 不得使用模型故意生成或分享非法或有害的输出或内容。
2. 模型作者对用户生成的输出不主张任何权利，用户可自由使用这些输出，但需对其使用负责，且使用不得违反许可证的规定。
3. 可以重新分发模型权重，并将模型用于商业用途或作为服务使用。但需包含与许可证相同的使用限制，并向所有用户提供CreativeML OpenRAIL - M许可证的副本。 请在此阅读完整许可证

⚠️ 重要提示

请遵守CreativeML OpenRAIL - M许可证的相关规定，不得使用模型故意生成或分享非法或有害的输出或内容。

💡 使用建议

在提示词中合理使用 ghibli style 标记，结合不同的负提示词和参数设置，以获得更满意的图像效果。如果你喜欢作者的作品，并想在新模型发布前进行测试，请考虑支持作者。