Ghibli Characters Sd3.5 Lora

🚀 クイックスタート

このモデルを使用するには、diffusersライブラリを使って推論を行います。以下のセクションで詳細を説明します。

✨ 主な機能

• テキストから画像生成：特定のプロンプトに基づいて、スタジオジブリスタイルの画像を生成できます。
• LoRAアダプター：StableDiffusion 3.5 Largeモデルを微調整するためのLoRAアダプターを提供します。

📚 ドキュメント

モデルの説明

このリポジトリには、StableDiffusion 3.5 LargeのLoRAアダプターが含まれています。これは、Diffusers + Dreamboothを使用して、スタジオジブリの画像を使って微調整されています。画像はhttps://ghibli.jp から手動でダウンロードされ、alvarobartt/ghibli-charactersにホストされています。

プロンプトテンプレート

画像生成をトリガーするには、以下のテンプレートを使用する必要があります（画像にキャプションを付ける際に定義されています）。

"ジブリスタイル [キャラクターの説明] と [特徴的な特徴], [アクションまたはポーズ], [環境または背景], [照明または雰囲気], [追加の詳細]"

diffusersによる推論

⚠️ 重要提示

diffusers 0.31.0以上が必要です。リリースノートを参照してください。

import torch
from diffusers import DiffusionPipeline

model_id = "stabilityai/stable-diffusion-3.5-large"
adapter_id = "alvarobartt/ghibli-characters-sd3.5-lora"

pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16)
pipeline.load_lora_weights(adapter_id)
pipeline.to("cuda")

prompt = (
    "Ghibli style futuristic stormtrooper with glossy white armor and a sleek helmet,"
    " standing heroically on a lush alien planet, vibrant flowers blooming around, soft"
    " sunlight illuminating the scene, a gentle breeze rustling the leaves"
)

image = pipeline(
    prompt=prompt,
    num_inference_steps=30,
    width=1024,
    height=768,
    guidance_scale=3.5,
).images[0]

image.save("ghibli.png", format="PNG")

免責事項

この微調整モデルは個人利用のみを目的としており、商用目的での使用は禁止されています。これはライセンスに明記されています。

StableDiffusion 3.5 Largeの微調整モデルは、StableDiffusion 3.5 Largeと同じライセンス、つまりhttps://huggingface.co/stabilityai/stable-diffusion-3.5-large/blob/main/LICENSE.md に従います。また、スタジオジブリのデータセットは、彼らのウェブサイト上の調査結果の解釈に基づくカスタムの非商用ライセンスで公開されています。

📄 ライセンス

このモデルは、stabilityai-ai-communityライセンスの下で提供されています。