Ghibli Diffusion

🚀 ジブリ・ディフュージョン

このモデルは、スタジオジブリの現代アニメ映画の画像を使用して微調整されたStable Diffusionモデルです。プロンプトに ghibli style というトークンを使用することで、その効果を得ることができます。

もしあなたが私の作品を気に入り、リリース前に新しいモデルをテストしたい場合は、私を支援することを検討してください

✨ 主な機能

• 画像生成機能：テキスト入力に基づいて、ジブリスタイルの画像を生成します。
• 多様なアートスタイル：キャラクター、車や動物、風景など、様々なシーンの画像を生成できます。

📦 インストール

このモデルは他のStable Diffusionモデルと同じように使用できます。詳細については、Stable Diffusionを参照してください。

また、モデルをONNX、MPS、および/またはFLAX/JAXにエクスポートすることもできます。

💻 使用例

基本的な使用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "nitrosocke/Ghibli-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "ghibli style magical princess with golden hair"
image = pipe(prompt).images[0]

image.save("./magical_princess.png")

生成例

モデルで生成されたキャラクター: モデルで生成された車や動物: モデルで生成された風景: ghibli style beautiful Caribbean beach tropical (sunset) - Negative prompt: soft blurry ghibli style ice field white mountains ((northern lights)) starry sky low horizon - Negative prompt: soft blurry

ストームトルーパーのプロンプトと設定:

ghibli style (storm trooper) Negative prompt: (bad anatomy) Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3450349066, Size: 512x704

VWビートルのプロンプトと設定:

ghibli style VW beetle Negative prompt: soft blurry Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 1529856912, Size: 704x512

🔧 技術詳細

このモデルは、ShivamShriraoによるdiffusersベースのdreamboothトレーニングを使用して、事前保存損失と train-text-encoder フラグを用いて15,000ステップでトレーニングされました。

📄 ライセンス

このモデルはオープンアクセスで、すべての人が利用できます。CreativeML OpenRAIL-Mライセンスによって、権利と使用方法がさらに明確に規定されています。

CreativeML OpenRAILライセンスには以下のような規定があります:

1. モデルを使用して、意図的に違法または有害な出力やコンテンツを作成したり共有したりすることはできません。
2. 作者は、あなたが生成した出力に対して何らの権利も主張しません。あなたは自由にそれらを使用することができ、その使用はライセンスに定められた規定に違反してはなりません。
3. あなたは重みを再配布し、モデルを商用および/またはサービスとして使用することができます。その場合、ライセンスに記載されている同じ使用制限を含め、CreativeML OpenRAIL-Mのコピーをすべてのユーザーに共有する必要があります（ライセンス全体を注意深く読んでください）。 こちらで完全なライセンスを読むことができます