FLUX.1 Dev Controlnet Inpainting Beta

🚀 FLUX.1-dev ControlNet图像修复 - 测试版

本仓库由阿里妈妈创意团队开发，存放着针对alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha模型改进后的图像修复ControlNet检查点。

中文版Readme

🚀 快速开始

本项目是对图像修复模型的改进，能直接处理并生成1024x1024分辨率图像，且生成细节更丰富，对提示词的控制更精准。

✨ 主要特性

🔥 最新消息！

• [2024.10.16] 我们发布了一个8步的FLUX.1蒸馏LoRA模型alimama-creative/FLUX.1-Turbo-Alpha，它与我们的图像修复ControlNet兼容。

关键改进

与之前的版本相比，我们最新的图像修复模型有了显著的改进：

1. 支持1024分辨率：能够直接处理和生成1024x1024分辨率的图像，无需额外的放大步骤，提供更高质量和更详细的输出结果。
2. 增强细节生成：经过微调，能够捕捉并重现图像修复区域的更精细细节。
3. 改进提示控制：通过增强的提示解释，对生成的内容提供更精确的控制。

效果展示

以下图像是使用ComfyUI工作流（点击此处下载）并在以下设置下生成的： control-strength = 1.0，control-end-percent = 1.0，true_cfg = 1.0

提示词 : '在木板上写几行字“阿里妈妈创意”'

提示词 : "一个长着巨大美丽白色翅膀的女孩"

提示词 : "红头发"

提示词 : " "

提示词 : "阿尔伯特·爱因斯坦"

提示词 : "带咖啡桌的拉韦洛户外组合沙发套装"

ComfyUI使用指南

下载示例ComfyUI工作流点击此处。

• 使用t5xxl-FP16和flux1-dev-fp8模型在1024px和H20 GPU上进行30步推理：

  • GPU内存使用量：27GB
  • 推理时间：48秒（true_cfg=3.5），26秒（true_cfg=1）

• 通过调整以下参数可以获得不同的结果： | 参数 | 推荐范围 | 效果 | | ---- | ---- | ---- | | control-strength | 0.6 - 1.0 | 控制ControlNet对生成过程的影响程度。值越高，生成结果越贴合控制图像。 | | controlend-percent | 0.35 - 1.0 | 确定ControlNet影响在去噪过程的哪一步结束。值越低，后期步骤的创造性自由度越高。 | | true-cfg（无分类器引导尺度） | 1.0或3.5 | 影响生成结果与提示词的贴合程度。值越高，生成结果越贴合提示词，但可能会降低图像质量。 |

• 更全面的全图像提示可以带来更好的整体效果。例如，除了描述要修复的区域外，还可以描述整个图像的背景、氛围和风格。这种方法可以使生成的结果更加和谐自然。

📦 安装指南

Diffusers集成

1. 安装所需的diffusers版本：

pip install diffusers==0.30.2

2. 克隆此仓库：

git clone https://github.com/alimama-creative/FLUX-Controlnet-Inpainting.git

3. 在main.py中配置image_path、mask_path和prompt，然后执行：

python main.py

📚 详细文档

模型规格

📄 许可证

我们的模型权重根据FLUX.1 [dev]非商业许可证发布。