Stable Diffusion V 1 3 Original

🚀 Stable Diffusion v1 モデルカード

Stable Diffusionは、任意のテキスト入力を元に写真のようにリアルな画像を生成できる潜在的なテキストから画像への拡散モデルです。

🚀 クイックスタート

Stable Diffusion v1は、テキスト入力に基づいて写真のようにリアルな画像を生成することができます。以下の手順でモデルの重みをダウンロードして利用することができます。

重みのダウンロード

• sd-v1-3.ckpt
• sd-v1-3-full-ema.ckpt

これらの重みは、元のCompVis Stable Diffusionコードベースで使用することを想定しています。D🧨iffusersライブラリで使用するモデルを探している場合は、こちらを参照してください。

✨ 主な機能

• 任意のテキスト入力に基づいて写真のようにリアルな画像を生成することができます。
• テキスト条件付けのドロップアウトを行うことで、分類器なしガイダンスサンプリングを改善しています。

📚 ドキュメント

モデルの詳細

@InProceedings{Rombach_2022_CVPR,
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj"orn},
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {10684-10695}
}

使用方法

直接使用

このモデルは研究目的のみを想定しています。可能な研究分野やタスクには以下のようなものがあります。

• 有害なコンテンツを生成する可能性のあるモデルの安全なデプロイ。
• 生成モデルの制限やバイアスの調査と理解。
• アートワークの生成とデザインや他の芸術的なプロセスでの使用。
• 教育や創造的なツールでの応用。
• 生成モデルに関する研究。

以下に除外される使用方法を説明します。

誤用、悪意のある使用、および想定外の使用

このセクションは DALLE-MINIモデルカード から引用したものですが、Stable Diffusion v1にも同様に適用されます。

このモデルは、人々に敵対的または疎外感を与える環境を作り出す画像を意図的に作成または拡散するために使用してはなりません。これには、人々が不快、苦痛、または不快感を感じるであろう画像や、歴史的または現在のステレオタイプを広めるコンテンツの生成が含まれます。

想定外の使用

このモデルは、人やイベントの事実的または真実の表現として訓練されていないため、このようなコンテンツを生成するためにモデルを使用することは、このモデルの能力の範囲外です。

誤用と悪意のある使用

このモデルを使用して、個人に残酷なコンテンツを生成することは、このモデルの誤用です。これには、以下のようなものが含まれますが、これらに限定されません。

• 人やその環境、文化、宗教などの侮辱的、非人間的、またはその他の有害な表現の生成。
• 差別的なコンテンツや有害なステレオタイプを意図的に宣伝または拡散すること。
• 本人の同意なしに個人をなりすますこと。
• 見る人の同意なしの性的なコンテンツ。
• 誤情報と偽情報。
• 重大な暴力やグロテスクな表現。
• 著作権またはライセンスされた素材をその使用条件に違反して共有すること。
• 著作権またはライセンスされた素材をその使用条件に違反して改変したコンテンツを共有すること。

制限とバイアス

制限

• 完全な写真のようなリアリズムを達成することはできません。
• 読み取り可能なテキストをレンダリングすることはできません。
• 「青い球体の上に赤い立方体」のような構成性を伴う難しいタスクではうまく機能しません。
• 顔や人全体が適切に生成されない場合があります。
• このモデルは主に英語のキャプションで訓練されており、他の言語ではうまく機能しません。
• モデルの自動符号化部分は損失があります。
• このモデルは大規模なデータセット LAION-5B で訓練されており、これには成人向けの素材が含まれており、追加の安全メカニズムや考慮なしでは製品での使用に適していません。
• データセットの重複排除には追加の対策が取られていません。その結果、訓練データに重複して含まれる画像についてはある程度の記憶が見られます。訓練データは https://rom1504.github.io/clip-retrieval/ で検索でき、記憶された画像の検出に役立つ可能性があります。

バイアス

画像生成モデルの能力は印象的ですが、社会的バイアスを強化または悪化させる可能性もあります。Stable Diffusion v1は LAION-2B(en) のサブセットで訓練されており、これは主に英語の説明に限定された画像から構成されています。他の言語を使用するコミュニティや文化のテキストや画像は、十分に考慮されていない可能性があります。これは、白人人種や西洋文化がデフォルトとして設定されることが多いため、モデルの全体的な出力に影響を与えます。さらに、英語以外のプロンプトでコンテンツを生成するモデルの能力は、英語のプロンプトと比較して大幅に劣ります。

訓練

訓練データ

モデル開発者は、以下のデータセットをモデルの訓練に使用しました。

• LAION-2B (en) とそのサブセット (次のセクションを参照)

訓練手順

Stable Diffusion v1は、オートエンコーダと拡散モデルを組み合わせた潜在拡散モデルであり、オートエンコーダの潜在空間で訓練されます。訓練中は、以下のような処理が行われます。

• 画像はエンコーダによってエンコードされ、画像が潜在表現に変換されます。オートエンコーダは相対的なダウンサンプリング係数8を使用し、形状 H x W x 3 の画像を形状 H/f x W/f x 4 の潜在表現にマッピングします。
• テキストプロンプトはViT-L/14テキストエンコーダによってエンコードされます。
• テキストエンコーダの非プール出力は、クロスアテンションを介して潜在拡散モデルのUNetバックボーンに入力されます。
• 損失は、潜在表現に追加されたノイズとUNetによる予測との間の再構成目的です。

現在、sd-v1-1.ckpt、sd-v1-2.ckpt、sd-v1-3.ckpt の3つのチェックポイントを提供しており、以下のように訓練されています。

• sd-v1-1.ckpt: laion2B-en で解像度 256x256 で237kステップ、laion-high-resolution (LAION-5Bから解像度 >= 1024x1024 の170Mの例) で解像度 512x512 で194kステップ。

• sd-v1-2.ckpt: sd-v1-1.ckpt から再開。「laion-improved-aesthetics」(laion2B-enのサブセットで、元のサイズ >= 512x512、推定美観スコア > 5.0、推定ウォーターマーク確率 < 0.5 の画像にフィルタリングされています。ウォーターマークの推定はLAION-5Bのメタデータから、美観スコアは improved aesthetics estimator を使用して推定されています) で解像度 512x512 で515kステップ。

• sd-v1-3.ckpt: sd-v1-2.ckpt から再開。「laion-improved-aesthetics」で解像度 512x512 で195kステップ、テキスト条件付けの10%をドロップアウトして classifier-free guidance sampling を改善しています。

• ハードウェア: 32 x 8 x A100 GPUs

• オプティマイザ: AdamW

• 勾配蓄積: 2

• バッチ: 32 x 8 x 2 x 4 = 2048

• 学習率: 10,000ステップで0.0001にウォームアップし、その後一定に保たれます。

評価結果

異なる分類器なしガイダンススケール (1.5、2.0、3.0、4.0、5.0、6.0、7.0、8.0) と50 PLMSサンプリングステップを使用した評価では、チェックポイントの相対的な改善が示されています。

COCO2017検証セットからの10000のランダムなプロンプトを使用して50 PLMSステップで評価され、解像度512x512で評価されています。FIDスコアに最適化されていません。

環境への影響

Stable Diffusion v1 推定排出量

この情報に基づいて、Lacoste et al. (2019) で提示された Machine Learning Impact calculator を使用して、以下のCO2排出量を推定しています。ハードウェア、実行時間、クラウドプロバイダ、およびコンピュートリージョンは、炭素影響を推定するために利用されています。

• ハードウェアタイプ: A100 PCIe 40GB
• 使用時間: 150000時間
• クラウドプロバイダ: AWS
• コンピュートリージョン: US-east
• 排出された炭素 (電力消費 x 時間 x 電力網の位置に基づく炭素生成): 11250 kg CO2 eq.

引用

    @InProceedings{Rombach_2022_CVPR,
        author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
        title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
        booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
        month     = {June},
        year      = {2022},
        pages     = {10684-10695}
    }

このモデルカードは、Robin RombachとPatrick Esserによって作成され、DALL-E Miniモデルカード に基づいています。

📄 ライセンス

このモデルはオープンアクセスであり、すべての人が利用できます。CreativeML OpenRAIL-M license が、さらに権利と使用法を指定しています。

CreativeML OpenRAIL Licenseでは、以下のことが規定されています。

1. モデルを使用して、違法または有害な出力やコンテンツを意図的に生成または共有してはなりません。
2. 作成者は、生成した出力に対して権利を主張せず、自由に使用できますが、その使用はライセンスに定められた規定に違反してはなりません。
3. 重みを再配布し、モデルを商用および/またはサービスとして使用することができます。その場合は、ライセンスと同じ使用制限を含め、CreativeML OpenRAIL-Mのコピーをすべてのユーザーに共有する必要があります (ライセンス全体を注意深く読んでください)。

完全なライセンスについては、こちら をご覧ください。