Stable Diffusion 2 1 Unclip Small

🚀 Stable Diffusion v2-1-unclip (small) モデルカード

このモデルカードは、Stable Diffusion v2-1モデルに関連するモデルに焦点を当てています。コードベースはこちらで入手できます。

このstable-diffusion-2-1-unclip-smallはStable Diffusion 2.1の微調整版で、テキストプロンプトに加えて（ノイズのある）CLIP画像埋め込みを受け入れるように改変されています。画像のバリエーションを作成する（例）ために使用することができるか、またはテキストから画像へのCLIP事前学習モデルと連結することができます。画像埋め込みに追加されるノイズの量は、noise_levelを介して指定することができます（0はノイズなし、1000は完全なノイズ）。

• 🧨 diffusers で使用します

🚀 クイックスタート

モデルの詳細

• 開発者: Robin Rombach, Patrick Esser

• モデルの種類: 拡散ベースのテキストから画像への生成モデル

• 使用言語: 英語

• ライセンス: CreativeML Open RAIL++-M License

• モデルの説明: これは、テキストプロンプトに基づいて画像を生成および変更するために使用できるモデルです。固定された事前学習済みのテキストエンコーダー (OpenCLIP-ViT/H) を使用する潜在拡散モデルです。

• 詳細情報のリソース: GitHubリポジトリ.

• 引用方法:

  @InProceedings{Rombach_2022_CVPR,
      author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
      title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
      month     = {June},
      year      = {2022},
      pages     = {10684-10695}
  }
  

インストール

pip install diffusers transformers accelerate scipy safetensors

使用例

from diffusers import DiffusionPipeline
from diffusers.utils import load_image
import torch

pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1-unclip-small", torch_dtype=torch.float16)
pipe.to("cuda")

# 画像の取得
url = "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/stable_unclip/tarsila_do_amaral.png"
image = load_image(url)

# 画像のバリエーションを実行
image = pipe(image).images[0]

用途

直接的な利用

このモデルは研究目的のみを意図しています。可能な研究分野やタスクには以下が含まれます。

• 有害なコンテンツを生成する可能性のあるモデルの安全な展開。
• 生成モデルの制限とバイアスの調査と理解。
• アートワークの生成とデザインやその他の芸術的なプロセスでの使用。
• 教育または創造的なツールでのアプリケーション。
• 生成モデルに関する研究。

除外される利用については以下で説明します。

誤用、悪意のある利用、および範囲外の利用

注: このセクションは元々 DALLE-MINIモデルカード から引用されたもので、Stable Diffusion v1に使用されていましたが、Stable Diffusion v2にも同様に適用されます。

このモデルは、人々に敵意や疎外感を与える環境を生み出す画像を意図的に作成または拡散するために使用してはなりません。これには、人々が予見できる不快感、苦痛、または不快感を引き起こす画像の生成や、歴史的または現在のステレオタイプを広めるコンテンツが含まれます。

範囲外の利用

このモデルは、人やイベントの事実的または真実の表現を生成するように訓練されていないため、そのようなコンテンツを生成するためにモデルを使用することは、このモデルの能力の範囲外です。

誤用と悪意のある利用

このモデルを使用して、個人に残酷なコンテンツを生成することは、このモデルの誤用です。これには以下が含まれますが、これらに限定されません。

• 人やその環境、文化、宗教などの侮辱的、非人間的、またはその他の有害な表現の生成。
• 差別的なコンテンツや有害なステレオタイプを意図的に宣伝または拡散すること。
• 本人の同意なしでの個人のなりすまし。
• 見る人の同意なしの性的なコンテンツ。
• 誤情報とディスインフォメーション
• 極度の暴力や血腥な描写
• 著作権またはライセンスされた素材の使用条件に違反した共有。
• 著作権またはライセンスされた素材の改変コンテンツの使用条件に違反した共有。

制限とバイアス

制限

• このモデルは完全な写実性を達成しません。
• このモデルは読み取り可能なテキストをレンダリングできません。
• このモデルは、「青い球体の上に赤い立方体」のような構成性を含むより難しいタスクではうまく機能しません。
• 顔や人全体が適切に生成されない場合があります。
• このモデルは主に英語のキャプションで訓練されており、他の言語では同じように機能しません。
• このモデルの自動符号化部分は損失があります。
• このモデルは大規模データセット LAION-5B のサブセットで訓練されており、成人向け、暴力的、および性的なコンテンツが含まれています。これを部分的に軽減するために、LAIONのNFSW検出器を使用してデータセットをフィルタリングしました（訓練セクションを参照）。

バイアス

画像生成モデルの能力は印象的ですが、社会的バイアスを強化または悪化させる可能性もあります。Stable Diffusionは主に LAION-2B(en) のサブセットで訓練されており、英語の説明に限定された画像で構成されています。他の言語を使用するコミュニティや文化のテキストや画像は、十分に考慮されていない可能性があります。これは、白人や西洋文化がしばしばデフォルトとして設定されるため、モデルの全体的な出力に影響を与えます。さらに、英語以外のプロンプトでコンテンツを生成するモデルの能力は、英語のプロンプトと比較して著しく劣ります。Stable Diffusion v2はバイアスを反映し、それを悪化させる程度が大きいため、入力やその意図に関係なく、閲覧者の裁量が必要です。

訓練

訓練データ

モデル開発者は、以下のデータセットをモデルの訓練に使用しました。

• LAION-5Bとそのサブセット（詳細は以下）。訓練データはさらにLAIONのNSFW検出器を使用してフィルタリングされており、「p_unsafe」スコアが0.1（保守的）です。詳細については、LAION-5Bの NeurIPS 2022 論文とこのトピックに関するレビュアーの議論を参照してください。

環境への影響

Stable Diffusion v1の推定排出量

この情報に基づいて、Lacoste et al. (2019) で提示された Machine Learning Impact calculator を使用して、以下のCO2排出量を推定します。ハードウェア、実行時間、クラウドプロバイダー、およびコンピュートリージョンを使用して炭素排出量を推定しました。

• ハードウェアの種類: A100 PCIe 40GB
• 使用時間: 200000時間
• クラウドプロバイダー: AWS
• コンピュートリージョン: US-east
• 排出された炭素量 (電力消費量 x 時間 x 電力網の位置に基づく炭素排出量): 15000 kg CO2 eq.

引用

@InProceedings{Rombach_2022_CVPR,
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {10684-10695}
}

このモデルカードは、Robin Rombach、Patrick Esser、およびDavid Haによって作成され、Stable Diffusion v1 および DALL-E Miniモデルカード に基づいています。