Cartoonify

🚀 Cartoonify

Cartoonify 是一个基于 runwayml/stable-diffusion-v1-5 的 DreamBooth 模型，它对文本编码器进行了额外的微调。该模型的权重是使用 DreamBooth 技术，基于一家知名动画工作室的数据训练得到的。在提示词中使用 disney style 标记，即可实现相应效果。

🚀 快速开始

如何使用

import torch
from diffusers import StableDiffusionPipeline

# basic usage
repo_id = "lavaman131/cartoonify"
device = torch.device("cuda")
torch_dtype = torch.float16 if device.type in ["mps", "cuda"] else torch.float32
pipeline = StableDiffusionPipeline.from_pretrained(repo_id, torch_dtype=torch_dtype).to(device)
image = pipeline("PROMPT GOES HERE").images[0]
image.save("output.png")

完整源代码

用于训练和本地 Gradio 演示（将图像转换为迪士尼角色风格）的完整源代码可以在 这里 找到。

✨ 主要特性

你可以在下方找到一些示例图片：

🔧 技术细节

该模型在约 200 张现代迪士尼角色、背景和动物的图像上进行了 3500 步的微调。在 RTX A5000 GPU（24GB VRAM）上，各类图像的比例分别为 70%、20% 和 10%。 用于训练的代码可以在 这里 找到。训练使用的正则化图像可以在 这里 找到。

📚 详细文档

预期用途和限制

与任何扩散模型一样，你需要不断调整提示词和无分类器引导参数，直到获得满意的结果。远景主体的面部清晰度似乎会有所下降。为了在图像生成过程中提供额外的安全性，我们使用了 Stable Diffusion 安全检查器。

📄 许可证

本模型采用 creativeml-openrail-m 许可证。

📦 模型信息