Cartoonify

🚀 Cartoonify

このモデルは、runwayml/stable-diffusion-v1-5 をベースに、テキストエンコーダーを追加で微調整した DreamBooth モデルです。重みは、人気のアニメーションスタジオのデータを使用して DreamBooth で学習されました。プロンプトに disney style を含めることで、その効果を得ることができます。

以下にいくつかのサンプル画像を示します。

🚀 クイックスタート

使い方

import torch
from diffusers import StableDiffusionPipeline

# basic usage
repo_id = "lavaman131/cartoonify"
device = torch.device("cuda")
torch_dtype = torch.float16 if device.type in ["mps", "cuda"] else torch.float32
pipeline = StableDiffusionPipeline.from_pretrained(repo_id, torch_dtype=torch_dtype).to(device)
image = pipeline("PROMPT GOES HERE").images[0]
image.save("output.png")

ソースコード

画像をディズニーキャラクタースタイルに変換するための完全なソースコードとローカルの Gradio デモは、こちら で確認できます。

制限事項とバイアス

他の拡散モデルと同様に、目的の結果を得るまで、プロンプトと分類器フリーガイダンスパラメータを調整する必要があります。ズームアウトした被写体の顔の鮮明度は低下する傾向があります。画像生成の安全性を高めるために、Stable Diffusion のセーフティチェッカーを使用しています。

🔧 技術詳細

このモデルは、RTX A5000 GPU (24GB VRAM) を使用して、約200枚の現代的なディズニーキャラクター、背景、動物の画像で3500ステップの微調整を行いました。それぞれの比率は、キャラクターが70%、背景が20%、動物が10%でした。

学習に使用したコードは こちら で、学習に使用した正則化画像は こちら で確認できます。

📄 ライセンス

このモデルは、CreativeML OpenRAIL-M ライセンスの下で提供されています。