オープンソースのControlNet - Segment - Anythingモデル - セグメンテーション画像を利用したStable Diffusionによる画像生成の精密制御

ホーム

Controlnet Segment Anything

mfidabelによって開発

Stable Diffusion v1.5でトレーニングされたControlNetモデル、セグメンテーション画像による正確な画像生成制御を実現

画像生成英語オープンソースライセンス:Openrail #セグメンテーション画像制御生成 #芸術スタイルレンダリング #建築シーン生成

ダウンロード数 33

リリース時間 : 5/1/2023

モデル概要

このモデルはControlNetの条件制御技術を組み合わせ、テキストプロンプトと入力されたセグメンテーション画像に基づいて要求に合った画像を生成でき、特に芸術創作やデザインシーンに適しています。

モデル特徴

セグメンテーション画像条件制御

入力されたセグメンテーション画像を生成テンプレートとして使用し、正確な画像構図制御を実現

芸術スタイル変換

入力されたセグメンテーション画像をゴッホスタイルなど様々な芸術スタイルの画像に変換可能

高品質画像生成

4K解像度の高品質画像生成をサポートし、プロフェッショナルなデザイン要件に適しています

モデル能力

画像生成

スタイル変換

画像編集

芸術創作

使用事例

インテリアデザイン

モダンリビングルームデザイン

セグメンテーション画像に基づいて異なるスタイルのモダンリビングルームの効果図を生成

リアルまたは芸術的なスタイルのリビングルームレンダリングを生成可能

芸術創作

名画スタイル変換

建築セグメンテーション画像をゴッホの『星月夜』などの芸術スタイルに変換

特定の芸術スタイルを持つ建築画像を生成

🚀 ControlNet - mfidabel/controlnet-segment-anything

このControlNetの重みは、新しいタイプのコンディショニングを用いて、runwayml/stable-diffusion-v1-5上で学習されています。以下にいくつかのサンプル画像を示します。

プロンプト: contemporary living room of a house ネガティブプロンプト: low quality images_0)

プロンプト: new york buildings, Vincent Van Gogh starry night ネガティブプロンプト: low quality, monochrome images_1)

プロンプト: contemporary living room, high quality, 4k, realistic ネガティブプロンプト: low quality, monochrome, low res images_2)

✨ 主な機能

📚 ドキュメント

モデルの詳細

プロパティ	詳細
モデルタイプ	ControlNetコンディショニングを用いた拡散ベースのテキストから画像生成モデル
言語	英語
ライセンス	CreativeML OpenRAIL Mライセンスは、BigScienceとRAIL Initiativeが共同で責任あるAIライセンスの分野で行っている作業を元にしたOpen RAIL Mライセンスです。また、当社のライセンスが基づいているBLOOM Open RAILライセンスに関する記事も参照してください。
モデルの説明	このモデルは、テキストプロンプトと生成画像のテンプレートとしてのセグメンテーションマップに基づいて画像を生成するために使用されます

制限とバイアス

モデルはテキストをレンダリングできません。
セグメントが少ない風景は、より良くレンダリングされる傾向があります。
一部のセグメンテーションマップは、モノクロでレンダリングされる傾向があります（negative_promptを使用して回避できます）。
一部の生成画像は過度に飽和している場合があります。
入力セグメンテーションマップと整合性があれば、短いプロンプトの方が通常うまく機能します。
学習データセットには多くの絵画が含まれているため、モデルは現実的な画像よりも絵画的な画像を生成する傾向があります。

学習

学習データ このモデルは、COYO-700Mデータセットに基づくセグメント化されたデータセットを使用して学習されました。 Stable Diffusion v1.5のチェックポイントがControlNetのベースモデルとして使用されました。

任意の画像のセグメンテーションマップは、このColabを通じて取得できます:

モデルは以下のように学習されました:

SAM-COYO-2kデータセットで25kステップ
SAM-COYO-2.5kデータセットで28kステップ
SAM-COYO-3kデータセットで38kステップ

この特定の順序で行われました。

学習の詳細

ハードウェア: Google Cloud TPUv4-8 VM
オプティマイザ: AdamW
学習バッチサイズ: 2 x 4 = 8
学習率: 0.00001（一定）
勾配累積ステップ: 1
解像度: 512

環境への影響 以下の特性を持つMachine Learning Emissions Calculatorに基づいています:

ハードウェアタイプ: TPUv3チップ（計算時にはTPUv4はまだ利用できませんでした）
学習時間: 8時間
クラウドプロバイダー: Google Cloud Platform
コンピュートリージョン: us-central1
排出された二酸化炭素（消費電力 x 時間 x 地域の電力網に基づく二酸化炭素排出量）: 283W x 8h = 2.26 kWh x 0.57 kg eq. CO2/kWh = 1.29 kg eq. CO2

📄 ライセンス

CreativeML OpenRAIL Mライセンスは、BigScienceとRAIL Initiativeが共同で責任あるAIライセンスの分野で行っている作業を元にしたOpen RAIL Mライセンスです。また、当社のライセンスが基づいているBLOOM Open RAILライセンスに関する記事も参照してください。