Controlnet Seg Room

🚀 室內設計ControlNet模型項目

本項目基於ControlNet模型，利用自定義數據集訓練出可生成高質量室內設計圖像的模型。藉助分割圖和提示信息，用戶能精細控制房間內物體的放置。同時，團隊還搭建了在線演示，方便用戶體驗模型能力。

🚀 快速開始

你可以通過以下鏈接訪問在線演示，測試模型的能力：在線演示

✨ 主要特性

• 高度可控：通過訓練分割圖，用戶可以對房間內放置的物體進行精細控制。
• 功能豐富：支持圖像到圖像轉換和圖像修復功能，用戶可以保留房間的部分元素並更改圖像的特定部分。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

關於數據集

為了讓這個演示儘可能出色，我們的團隊花費了大量時間訓練一個自定義模型。我們使用LAION5B數據集構建了自定義數據集，其中包含近30種設計風格的15種類型房間的13萬張圖像。獲取所有這些圖像後，我們開始添加元數據，如標題（來自BLIP字幕模型）和分割圖（來自HuggingFace UperNetForSemanticSegmentation模型）。

關於模型

然後，我們使用這個數據集來訓練ControlNet模型，以生成高質量的室內設計圖像。該模型將分割圖和提示信息作為條件信息。通過在分割圖上進行訓練，最終用戶可以非常精細地控制他們想在房間中放置的物體。 訓練從lllyasviel/control_v11p_sd15_seg檢查點開始，這是一個基於分割圖進行穩健訓練的ControlNet模型。這個檢查點在TPUv4上使用JAX框架進行了微調。之後，該檢查點被轉換為PyTorch檢查點，以便與Diffusers庫輕鬆集成。

關於演示

我們的團隊製作了一個Streamlit演示，你可以在其中測試該模型的能力。 最終的模型用於支持圖像到圖像轉換和圖像修復的社區管道中，因此用戶可以保留房間的元素並更改圖像的特定部分。

🔧 技術細節

本項目基於ControlNet模型進行訓練，以分割圖和提示信息作為條件信息，從而實現對室內設計圖像生成的精細控制。訓練從lllyasviel/control_v11p_sd15_seg檢查點開始，在TPUv4上使用JAX框架進行微調，之後轉換為PyTorch檢查點，方便與Diffusers庫集成。

📄 許可證

本項目採用OpenRAIL許可證。

🙏 致謝

非常感謝Google為我們提供TPUv4來訓練這個模型。感謝Huggingface和Diffusers團隊組織JAX Diffusers衝刺活動，給予支持並編寫JAX訓練腳本。感謝StabilityAI開源Stable Diffusion模型，它對社區產生了巨大影響！