FLUX.1 Dev Controlnet Inpainting Beta

🚀 FLUX.1-dev ControlNet圖像修復 - 測試版

本倉庫由阿里媽媽創意團隊開發，存放著針對alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha模型改進後的圖像修復ControlNet檢查點。

中文版Readme

🚀 快速開始

本項目是對圖像修復模型的改進，能直接處理並生成1024x1024分辨率圖像，且生成細節更豐富，對提示詞的控制更精準。

✨ 主要特性

🔥 最新消息！

• [2024.10.16] 我們發佈了一個8步的FLUX.1蒸餾LoRA模型alimama-creative/FLUX.1-Turbo-Alpha，它與我們的圖像修復ControlNet兼容。

關鍵改進

與之前的版本相比，我們最新的圖像修復模型有了顯著的改進：

1. 支持1024分辨率：能夠直接處理和生成1024x1024分辨率的圖像，無需額外的放大步驟，提供更高質量和更詳細的輸出結果。
2. 增強細節生成：經過微調，能夠捕捉並重現圖像修復區域的更精細細節。
3. 改進提示控制：通過增強的提示解釋，對生成的內容提供更精確的控制。

效果展示

以下圖像是使用ComfyUI工作流（點擊此處下載）並在以下設置下生成的： control-strength = 1.0，control-end-percent = 1.0，true_cfg = 1.0

提示詞 : '在木板上寫幾行字“阿里媽媽創意”'

提示詞 : "一個長著巨大美麗白色翅膀的女孩"

提示詞 : "紅頭髮"

提示詞 : " "

提示詞 : "阿爾伯特·愛因斯坦"

提示詞 : "帶咖啡桌的拉韋洛戶外組合沙發套裝"

ComfyUI使用指南

下載示例ComfyUI工作流點擊此處。

• 使用t5xxl-FP16和flux1-dev-fp8模型在1024px和H20 GPU上進行30步推理：

  • GPU內存使用量：27GB
  • 推理時間：48秒（true_cfg=3.5），26秒（true_cfg=1）

• 通過調整以下參數可以獲得不同的結果： | 參數 | 推薦範圍 | 效果 | | ---- | ---- | ---- | | control-strength | 0.6 - 1.0 | 控制ControlNet對生成過程的影響程度。值越高，生成結果越貼合控制圖像。 | | controlend-percent | 0.35 - 1.0 | 確定ControlNet影響在去噪過程的哪一步結束。值越低，後期步驟的創造性自由度越高。 | | true-cfg（無分類器引導尺度） | 1.0或3.5 | 影響生成結果與提示詞的貼合程度。值越高，生成結果越貼合提示詞，但可能會降低圖像質量。 |

• 更全面的全圖像提示可以帶來更好的整體效果。例如，除了描述要修復的區域外，還可以描述整個圖像的背景、氛圍和風格。這種方法可以使生成的結果更加和諧自然。

📦 安裝指南

Diffusers集成

1. 安裝所需的diffusers版本：

pip install diffusers==0.30.2

2. 克隆此倉庫：

git clone https://github.com/alimama-creative/FLUX-Controlnet-Inpainting.git

3. 在main.py中配置image_path、mask_path和prompt，然後執行：

python main.py

📚 詳細文檔

模型規格

📄 許可證

我們的模型權重根據FLUX.1 [dev]非商業許可證發佈。