Controlnet Seg Room

🚀 コントロールネット室内設計モデル

このプロジェクトは、セグメンテーションマップとプロンプトを条件付け情報として使用して、高品質な室内設計画像を生成するControlNetモデルを開発しました。独自のデータセットを構築し、JAXフレームワークを用いてTPUv4上で訓練を行いました。

🚀 クイックスタート

このセクションでは、モデルに関する基本的な情報を提供します。

✨ 主な機能

• 独自のデータセットを使用して、多様なデザインスタイルの室内画像を生成できます。
• セグメンテーションマップを用いることで、室内に配置するオブジェクトを細かく制御できます。
• コミュニティパイプラインでサポートされるimage2imageとインペインティング機能を利用できます。

📚 ドキュメント

謝辞

このモデルを訓練するためにTPUv4を貸してくれたGoogleに大きな感謝を送ります。JAX Diffusersスプリントを主催し、サポートを提供し、JAX訓練スクリプトを作成してくれたHuggingfaceとDiffusersチームにも感謝します。Stable Diffusionモデルをオープンソース化してくれたStabilityAIにも感謝します。これらの貢献はコミュニティに大きな影響を与えています！

データセットについて

このデモを可能な限り良いものにするために、チームは独自のモデルを訓練するのに多くの時間を費やしました。LAION5Bデータセットを使用して、約30のデザインスタイルの15種類の部屋の13万枚の画像を含む独自のデータセットを構築しました。これらの画像を取得した後、BLIPキャプショニングモデルからのキャプションやHuggingFace UperNetForSemanticSegmentationモデルからのセグメンテーションマップなどのメタデータを追加し始めました。

モデルについて

このデータセットを使用して、セグメンテーションマップとプロンプトをモデルの条件付け情報として、ControlNetモデルを訓練し、高品質な室内設計画像を生成しました。セグメンテーションマップで訓練することで、エンドユーザーは部屋に配置したいオブジェクトを非常に細かく制御できます。 訓練はlllyasviel/control_v11p_sd15_segチェックポイントから開始され、これはセグメンテーションマップを条件として堅牢に訓練されたControlNetモデルです。このチェックポイントはJAXフレームワークを使用してTPUv4上で微調整されました。その後、チェックポイントはdiffusersライブラリとの簡単な統合のためにPyTorchチェックポイントに変換されました。

デモについて

チームは、このモデルの機能をテストできるStreamlitデモを作成しました。 結果として得られたモデルは、image2imageとインペインティングをサポートするコミュニティパイプラインで使用されるため、ユーザーは部屋の要素を維持しながら画像の特定の部分を変更できます。 デモリンク