Controlnet Segment Anything

🚀 ControlNet - mfidabel/controlnet-segment-anything

這是基於runwayml/stable-diffusion-v1-5訓練的ControlNet權重，採用了新型的條件機制。以下是一些示例圖片。

提示詞：當代住宅客廳 負提示詞：低質量

提示詞：紐約建築，文森特·梵高《星月夜》風格 負提示詞：低質量，單色

提示詞：當代客廳，高質量，4K，逼真 負提示詞：低質量，單色，低分辨率

🚀 快速開始

本模型可根據文本提示詞和分割圖作為生成圖像的模板來生成圖像。你可以通過以下方式使用：

1. 準備好文本提示詞和負提示詞。
2. 利用相關工具獲取分割圖，可通過此Colab獲取任意圖像的分割圖：
3. 結合提示詞和分割圖進行圖像生成。

✨ 主要特性

• 基於ControlNet條件機制的擴散式文本到圖像生成模型。
• 支持英文輸入。
• 可根據文本提示詞和分割圖生成多樣化的圖像。

📚 詳細文檔

模型詳情

侷限性和偏差

⚠️ 重要提示

• 該模型無法渲染文本。
• 分段較少的風景往往渲染效果更好。
• 一些分割圖傾向於渲染成單色（可使用負提示詞來解決）。
• 一些生成的圖像可能過飽和。
• 只要與輸入的分割圖有意義，較短的提示詞通常效果更好。
• 由於訓練數據集中有很多繪畫作品，該模型更傾向於生成繪畫風格的圖像，而非逼真的圖像。

訓練

訓練數據

該模型使用基於COYO - 700M數據集的分段數據集進行訓練。以Stable Diffusion v1.5檢查點作為ControlNet的基礎模型。

模型按以下順序進行訓練：

• 使用SAM - COYO - 2k數據集訓練25000步。
• 使用SAM - COYO - 2.5k數據集訓練28000步。
• 使用SAM - COYO - 3k數據集訓練38000步。

訓練詳情

• 硬件：Google Cloud TPUv4 - 8 VM
• 優化器：AdamW
• 訓練批次大小：2 x 4 = 8
• 學習率：0.00001（恆定）
• 梯度累積步數：1
• 分辨率：512

環境影響

根據機器學習排放計算器，具有以下特徵：

• 硬件類型：TPUv3芯片（計算時TPUv4不可用）
• 訓練時長：8小時
• 雲服務提供商：Google Cloud Platform
• 計算區域：us - central1
• 碳排放（功耗 x 時間 x 基於當地電網的碳排放量）：283W x 8h = 2.26 kWh x 0.57 kg eq. CO2/kWh = 1.29 kg eq. CO2

📄 許可證

本模型採用CreativeML OpenRAIL M許可證，改編自BigScience和RAIL Initiative在負責任的人工智能許可領域的聯合工作。另見關於BLOOM Open RAIL許可證的文章，本許可證以此為基礎。