Controlnet Mlsd 202305011046

🚀 controlnet - tsungtao/controlnet - mlsd - 202305011046

このControlNetの重みは、新しいタイプのコンディショニングを用いて、runwayml/stable - diffusion - v1 - 5上で学習されたものです。以下にいくつかのサンプル画像を示します。

✨ 主な機能

サンプル画像

• プロンプト: a living room with a dining table and chairs
• プロンプト: a living room with couches and a tv

学習データセット

学習データセットは[こちら](https://huggingface.co/datasets/tsungtao/diffusers - testing)で確認できます。

SDモデルのベース

このモデルはrunwayml/stable - diffusion - v1 - 5をベースにしています。

学習データの詳細

学習データは、生の学習データ、コンディショニング学習データ、およびそのプロンプトの2列で構成されています。

• 生の学習データ: 特定の学習目的のためにインターネットからクローリングされ、学習前にローカルツールでサイズが調整され、標準化されました。
• コンディショニングデータ: 生の学習データを元に作成されました。この目的のために、ローカルの開発環境にStable DiffusionとControlNetプラグインをデプロイし、ターゲットのコンディショニングデータを設定しました。その後、コンディショニングデータも標準化手順でサイズが調整されました。
• プロンプト: テストデータセットが小さいため、手動で追加されましたが、インターネット上のツールでも行うことができます。

以上のデータは、アップロードスクリプトによって生データ、コンディショニングデータ、プロンプトが1つのデータセットにまとめられ、自動的にHuggingfaceにアップロードされます。

モデルの機能

コンディショニングデータから、生データのフレームワークを確認できます。これをベースに学習することで、入力の線フレームワークを抽出するモードが得られます。同時に、生データはすべて特定のスタイルを持っています。したがって、このモデルを使用すると、入力されたリビングルームのデータの線フレームワークを取得し、特定のスタイルのリビングルームに変換することができます。機能的には「MLSD」モデルに似ていますが、特定のスタイルのリビングルームデータでより良い結果を得ることができます。

📄 ライセンス

このモデルはCreativeML OpenRAIL - Mライセンスの下で提供されています。