Arcane Diffusion

🚀 アーケイン・ディフュージョン

これは、TV番組「アーケイン」の画像で学習させた、微調整されたStable Diffusionモデルです。 プロンプトに arcane style というトークンを使用することで、その効果を得ることができます。

もしあなたが私の作品を気に入ったら、ぜひ支援を検討してください

🚀 クイックスタート

このモデルは、他のStable Diffusionモデルと同じように使用できます。詳細については、Stable Diffusionを参照してください。 また、このモデルをONNX、MPS、および/またはFLAX/JAXにエクスポートすることもできます。

💻 使用例

基本的な使用法

#!pip install diffusers transformers scipy torch
from diffusers import StableDiffusionPipeline
import torch

model_id = "nitrosocke/Arcane-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "arcane style, a magical princess with golden hair"
image = pipe(prompt).images[0]

image.save("./magical_princess.png")

📚 ドキュメント

私たちは、微調整されたStable Diffusionモデルを実行するためのGradio Web UIとColabもサポートしています。

バージョン3のサンプル画像:

モデルのサンプル画像:

学習に使用したサンプル画像:

各バージョンの詳細

バージョン3 (arcane-diffusion-v3): このバージョンは新しい train-text-encoder 設定を使用しており、モデルの品質と編集性を大幅に向上させています。番組の95枚の画像を8000ステップで学習させました。

バージョン2 (arcane-diffusion-v2): これはdiffusersベースのdreambooth学習を使用しており、事前保存損失がはるかに効果的です。その後、diffusersをスクリプトでckptファイルに変換して、automaticsリポジトリで動作するようにしました。 学習は5000ステップで行われ、v1との直接比較のために行われました。結果は、より顕著な結果を得るためにはもっと多くのステップが必要であることを示しています。バージョン3は11000ステップでテストされます。

バージョン1 (arcane-diffusion-5k): このモデルは、Training with prior-preservation loss 手法を利用した Unfrozen Model Textual Inversion を使用して学習されました。アーケイントークンを使用しない場合でも、スタイルに若干のシフトがあります。

📄 ライセンス

このモデルは、CreativeML OpenRAIL-Mライセンスの下で提供されています。