🚀 吉卜力風格擴散模型
這是一個基於吉卜力工作室現代動畫長片圖像微調的Stable Diffusion模型。在提示詞中使用 ghibli style 標記即可實現相應效果。
🚀 快速開始
本模型的使用方式與其他Stable Diffusion模型相同。更多信息,請查看 Stable Diffusion。
你還可以將模型導出為 ONNX、MPS 和/或 FLAX/JAX 格式。
💻 使用示例
基礎用法
from diffusers import StableDiffusionPipeline
import torch
model_id = "nitrosocke/Ghibli-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "ghibli style magical princess with golden hair"
image = pipe(prompt).images[0]
image.save("./magical_princess.png")
✨ 主要特性
- 風格獨特:基於吉卜力工作室現代動畫長片圖像訓練,能生成具有吉卜力風格的圖像。
- 使用靈活:可像其他Stable Diffusion模型一樣使用,還支持多種格式導出。
📦 安裝指南
文檔未提及安裝步驟,故跳過此章節。
📚 詳細文檔
模型訓練
該模型由ShivamShrirao基於diffusers的dreambooth訓練方法,使用先驗保留損失和 train-text-encoder 標誌,經過15000步訓練而成。
提示詞與設置示例
- 風暴兵圖像
- 提示詞:ghibli style (storm trooper) Negative prompt: (bad anatomy)
- 設置:Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3450349066, Size: 512x704
- 大眾甲殼蟲圖像
- 提示詞:ghibli style VW beetle Negative prompt: soft blurry
- 設置:Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 1529856912, Size: 704x512
模型效果展示
- 角色圖像

- 汽車與動物圖像

- 風景圖像
ghibli style beautiful Caribbean beach tropical (sunset) - Negative prompt: soft blurry
ghibli style ice field white mountains ((northern lights)) starry sky low horizon - Negative prompt: soft blurry
🔧 技術細節
本模型使用基於diffusers的dreambooth訓練方法,結合先驗保留損失和 train-text-encoder 標誌,經過15000步訓練。
📄 許可證
本模型採用CreativeML OpenRAIL - M許可證,向所有人開放使用。該許可證規定:
- 不得使用模型故意生成或分享非法或有害的輸出或內容。
- 模型作者對用戶生成的輸出不主張任何權利,用戶可自由使用這些輸出,但需對其使用負責,且使用不得違反許可證的規定。
- 可以重新分發模型權重,並將模型用於商業用途或作為服務使用。但需包含與許可證相同的使用限制,並向所有用戶提供CreativeML OpenRAIL - M許可證的副本。
請在此閱讀完整許可證
⚠️ 重要提示
請遵守CreativeML OpenRAIL - M許可證的相關規定,不得使用模型故意生成或分享非法或有害的輸出或內容。
💡 使用建議
在提示詞中合理使用 ghibli style 標記,結合不同的負提示詞和參數設置,以獲得更滿意的圖像效果。如果你喜歡作者的作品,並想在新模型發佈前進行測試,請考慮支持作者。
