Controlnet Mlsd 202305011046

🚀 controlnet - tsungtao/controlnet-mlsd-202305011046

本項目是基於 runwayml/stable-diffusion-v1-5 訓練的 ControlNet 權重，採用了新型的條件控制方式。下面為你展示一些示例圖片。

🚀 快速開始

示例圖片

• 提示詞：a living room with a dining table and chairs
• 提示詞：a living room with couches and a tv

訓練數據集

訓練數據集可在 此處 查看。

SD 模型基礎

本項目基於 runwayml/stable-diffusion-v1-5 模型。

🔧 技術細節

訓練數據處理

訓練數據包含兩列，分別是原始訓練數據、條件訓練數據及其提示詞。

• 原始訓練數據：為了特定的訓練目的，從互聯網上爬取了客廳相關的圖片。使用本地工具對這些圖片進行了尺寸調整，這是訓練前的標準化處理過程。
• 條件數據：基於原始訓練數據生成。為了創建目標條件數據，我們在本地開發環境中部署了 Stable Diffusion 和 ControlNet 插件。之後，同樣對條件數據進行了標準化的尺寸調整。
• 提示詞：由於測試數據集較小，提示詞是手動添加的。當然，也可以使用一些網絡工具來完成這一操作。

數據上傳

我們編寫了一個上傳腳本，將所有的原始數據、條件數據和提示詞組合成一個數據集，並自動上傳到 Hugging Face。

模型功能

從條件數據中，我們可以看到原始數據的框架結構。基於此進行訓練，模型能夠提取輸入圖像的線條框架。同時，原始數據都具有特定的風格。因此，使用這個模型，你可以提取輸入客廳圖像的線條框架，並將輸入的客廳圖像轉換為特定風格的客廳圖像。從功能上看，該模型類似於 “MLSD” 模型，但在處理特定風格的客廳數據時表現更優。

📄 許可證

本項目採用 creativeml-openrail-m 許可證。