Arcane Diffusion

🚀 奧術擴散模型 (Arcane Diffusion)

奧術擴散模型是基於電視劇《英雄聯盟：雙城之戰》（Arcane）的圖像數據對Stable Diffusion模型進行微調得到的。在提示詞中使用 arcane style 標記，即可生成具有該劇風格的圖像。

如果你喜歡我的作品，請考慮支持我。

🚀 快速開始

本模型的使用方法與其他Stable Diffusion模型相同。更多信息請參考 Stable Diffusion。

你還可以將模型導出為 ONNX、MPS 和/或 FLAX/JAX 格式。

💻 使用示例

基礎用法

#!pip install diffusers transformers scipy torch
from diffusers import StableDiffusionPipeline
import torch

model_id = "nitrosocke/Arcane-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "arcane style, a magical princess with golden hair"
image = pipe(prompt).images[0]

image.save("./magical_princess.png")

📚 詳細文檔

Gradio與Colab支持

我們還支持使用 Gradio 網頁界面和Colab結合Diffusers運行微調後的Stable Diffusion模型：

模型示例圖片

v3版本示例圖片

模型輸出示例圖片

訓練使用的示例圖片

版本說明

• 版本3 (arcane-diffusion-v3)：此版本使用了新的 train-text-encoder 設置，極大地提高了模型的質量和可編輯性。基於劇中的95張圖片，經過8000步訓練得到。
• 版本2 (arcane-diffusion-v2)：使用基於Diffusers的DreamBooth訓練方法，先驗保留損失更有效。隨後通過腳本將Diffusers轉換為ckpt文件，以便與自動倉庫兼容。為了與v1進行直接比較，訓練步數為5000步，結果顯示需要更多步數才能得到更顯著的效果。版本3將測試11000步的訓練效果。
• 版本1 (arcane-diffusion-5k)：該模型使用 Unfrozen Model Textual Inversion 方法，並結合 Training with prior-preservation loss 進行訓練。在不使用奧術標記的情況下，生成的圖像仍會略微偏向該劇風格。

📄 許可證

本模型採用 CreativeML OpenRAIL-M 許可證。