Coreml Stable Diffusion 2 1 Base

🚀 Stable Diffusion v2-1-baseモデルカード

このモデルは、Hugging FaceがAppleのリポジトリを使用して生成したもので、ASCLライセンスが適用されています。

このモデルカードは、Stable Diffusion v2-1-baseモデルに関連する情報を中心に説明しています。

このstable-diffusion-2-1-baseモデルは、stable-diffusion-2-base (512-base-ema.ckpt) を微調整したもので、同じデータセットで220kステップ追加で学習され、punsafe=0.98が適用されています。

ここにある重みは、Apple Siliconハードウェアで使用するためにCore MLに変換されています。

Core MLの重みには4つのバリアントがあります。

coreml-stable-diffusion-2-1-base
├── original
│   ├── compiled              # Swift推論、"original"アテンション
│   └── packages              # Python推論、"original"アテンション
└── split_einsum
    ├── compiled              # Swift推論、"split_einsum"アテンション
    └── packages              # Python推論、"split_einsum"アテンション

詳細については、https://huggingface.co/blog/diffusers-coreml を参照してください。

• 🧨 diffusers で使用する
• stablediffusion リポジトリで使用する: ここ から v2-1_512-ema-pruned.ckpt をダウンロードする

📚 詳細ドキュメント

モデルの詳細

引用情報

@InProceedings{Rombach_2022_CVPR,
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {10684-10695}
}

📋 使用方法

直接使用

このモデルは研究目的のみを想定しています。可能な研究分野やタスクには以下のようなものがあります。

• 有害なコンテンツを生成する可能性のあるモデルの安全なデプロイ
• 生成モデルの制限とバイアスの調査と理解
• アートワークの生成とデザインやその他のアートプロセスでの使用
• 教育または創造的なツールでの応用
• 生成モデルに関する研究

除外される使用方法については以下で説明します。

誤用、悪意のある使用、および想定外の使用

⚠️ 重要提示

このセクションは元々 DALLE-MINIモデルカード から引用されたもので、Stable Diffusion v1で使用されていましたが、Stable Diffusion v2にも同様に適用されます。

このモデルは、人々に敵対的または疎外感を与える環境を生み出す画像を意図的に作成または拡散するために使用してはなりません。これには、人々が不快、苦痛、または不快感を感じると予想される画像や、歴史的または現在のステレオタイプを広めるコンテンツの生成が含まれます。

想定外の使用

このモデルは、人や出来事の事実的または真実の表現を生成するように訓練されていないため、そのようなコンテンツを生成するためにモデルを使用することは、このモデルの能力範囲外です。

誤用と悪意のある使用

このモデルを使用して、個人に残酷なコンテンツを生成することは、このモデルの誤用です。これには以下のようなものが含まれますが、これらに限定されません。

• 人やその環境、文化、宗教などの侮辱的、非人間的、またはその他の有害な表現の生成
• 差別的なコンテンツや有害なステレオタイプを意図的に宣伝または拡散すること
• 本人の同意なしでの個人のなりすまし
• 見る人の同意なしの性的なコンテンツ
• 誤情報とディスインフォメーション
• 重大な暴力やグロテスクな表現
• 著作権またはライセンスされた素材をその使用条件に違反して共有すること
• 著作権またはライセンスされた素材をその使用条件に違反して改変したコンテンツを共有すること

🔧 制限とバイアス

制限

• このモデルは完全な写真的リアリズムを達成しません。
• このモデルは読み取り可能なテキストをレンダリングできません。
• このモデルは、「青い球の上に赤い立方体」のような構成性を必要とする難しいタスクではうまく機能しません。
• 顔や人全体が適切に生成されない場合があります。
• このモデルは主に英語のキャプションで訓練されており、他の言語ではうまく機能しません。
• このモデルのオートエンコーダ部分は損失があります。
• このモデルは、大規模データセット LAION-5B のサブセットで訓練されており、成人、暴力、性的なコンテンツが含まれています。これを部分的に軽減するために、LAIONのNFSW検出器を使用してデータセットをフィルタリングしています（訓練セクションを参照）。

バイアス

画像生成モデルの能力は印象的ですが、社会的バイアスを強化または悪化させる可能性もあります。Stable Diffusion v2は主に LAION-2B(en) のサブセットで訓練されており、英語の説明に限定された画像で構成されています。他の言語を使用するコミュニティや文化のテキストや画像は、十分に考慮されていない可能性があります。これは、白人や西洋文化がしばしばデフォルトとして設定されるため、モデルの全体的な出力に影響を与えます。さらに、非英語のプロンプトでコンテンツを生成するモデルの能力は、英語のプロンプトと比較して著しく劣ります。Stable Diffusion v2は、入力やその意図に関係なく、バイアスを反映し、悪化させる程度が高いため、閲覧者の裁量が必要です。

🔬 訓練

訓練データ

モデル開発者は、以下のデータセットをモデルの訓練に使用しました。

• LAION-5Bとそのサブセット（詳細は以下）。訓練データはLAIONのNSFW検出器を使用してさらにフィルタリングされ、"p_unsafe"スコアが0.1（保守的）に設定されています。詳細については、LAION-5Bの NeurIPS 2022 論文とそのトピックに関するレビューアの議論を参照してください。

訓練手順

Stable Diffusion v2は、オートエンコーダとオートエンコーダの潜在空間で訓練される拡散モデルを組み合わせた潜在拡散モデルです。訓練中は以下のように行われます。

• 画像はエンコーダを通じてエンコードされ、画像が潜在表現に変換されます。オートエンコーダは相対的なダウンサンプリング係数8を使用し、形状がH x W x 3の画像を形状がH/f x W/f x 4の潜在表現にマッピングします。
• テキストプロンプトはOpenCLIP-ViT/Hテキストエンコーダを通じてエンコードされます。
• テキストエンコーダの出力は、クロスアテンションを介して潜在拡散モデルのUNetバックボーンに供給されます。
• 損失は、潜在表現に追加されたノイズとUNetによる予測との間の再構成目的です。また、いわゆる v-objective も使用しています（https://arxiv.org/abs/2202.00512 を参照）。

現在、さまざまなバージョンの以下のチェックポイントを提供しています。

バージョン2.1

• 512-base-ema.ckpt: 512-base-ema.ckpt 2.0を微調整し、同じデータセットで220kステップ追加で学習され、punsafe=0.98が適用されています。
• 768-v-ema.ckpt: 768-v-ema.ckpt 2.0から再開し、同じデータセットで追加の55kステップを行い（punsafe=0.1）、その後さらに155kステップの微調整を行い、punsafe=0.98が適用されています。

バージョン2.0

• 512-base-ema.ckpt: LAION-5B のサブセットであり、明示的なポルノグラフィック素材がフィルタリングされたデータセットで、解像度 256x256 で550kステップ学習されました。LAION-NSFW分類器 を使用し、punsafe=0.1 および 審美スコア >= 4.5 が適用されています。同じデータセットで解像度 >= 512x512 で850kステップ学習されました。

• 768-v-ema.ckpt: 512-base-ema.ckpt から再開し、同じデータセットで v-objective を使用して150kステップ学習されました。データセットの 768x768 サブセットでさらに140kステップ学習されました。

• 512-depth-ema.ckpt: 512-base-ema.ckpt から再開し、200kステップの微調整が行われました。MiDaS (dpt_hybrid) によって生成された（相対的な）深度予測を処理するための追加の入力チャネルが追加され、追加の条件付けとして使用されます。この追加情報を処理するU-Netの追加入力チャネルはゼロ初期化されています。

• 512-inpainting-ema.ckpt: 512-base-ema.ckpt から再開し、さらに200kステップ学習されました。LAMA で提示されたマスク生成戦略に従い、マスクされた画像の潜在VAE表現と組み合わせて、追加の条件付けとして使用されます。この追加情報を処理するU-Netの追加入力チャネルはゼロ初期化されています。同じ戦略が 1.5-inpaintingチェックポイント の訓練にも使用されています。

• x4-upscaling-ema.ckpt: LAIONの10Mサブセットであり、画像サイズが >2048x2048 のデータセットで1.25Mステップ学習されました。モデルはサイズ 512x512 のクロップで訓練され、テキストガイド付きの 潜在アップスケーリング拡散モデル です。テキスト入力に加えて、noise_level を入力パラメータとして受け取り、事前定義された拡散スケジュール に従って低解像度入力にノイズを追加するために使用できます。

• ハードウェア: 32 x 8 x A100 GPU

• オプティマイザ: AdamW

• 勾配蓄積: 1

• バッチ: 32 x 8 x 2 x 4 = 2048

• 学習率: 10,000ステップで0.0001までウォームアップし、その後一定に保たれます。

📊 評価結果

異なる分類器フリーガイダンススケール（1.5、2.0、3.0、4.0、5.0、6.0、7.0、8.0）と50ステップのDDIMサンプリングステップを使用した評価では、チェックポイントの相対的な改善が示されています。

評価は、50 DDIMステップとCOCO2017検証セットからの10000個のランダムなプロンプトを使用し、解像度512x512で行われました。FIDスコアには最適化されていません。

🌍 環境への影響

Stable Diffusion v1の推定排出量

この情報に基づいて、Lacoste et al. (2019) で提示された Machine Learning Impact calculator を使用して、以下のCO2排出量を推定しています。ハードウェア、ランタイム、クラウドプロバイダ、およびコンピュートリージョンを利用して、炭素影響を推定しています。

• ハードウェアタイプ: A100 PCIe 40GB
• 使用時間: 200000時間
• クラウドプロバイダ: AWS
• コンピュートリージョン: US-east
• 排出された炭素（消費電力 x 時間 x 電力網の位置に基づく炭素排出量）: 15000 kg CO2 eq.

📖 引用

@InProceedings{Rombach_2022_CVPR,
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {10684-10695}
}

このモデルカードは、Pedro Cuencaが、Robin Rombach、Patrick Esser、およびDavid Haによって書かれた元のモデルカードを改変したもので、Stable Diffusion v1 および DALL-E Miniモデルカード に基づいています。