Ecomxl Controlnet Inpaint

🚀 EcomXL Inpaint ControlNet

EcomXL 包含一系列专为电商场景优化的文本到图像扩散模型，它基于 Stable Diffusion XL 开发。针对电商场景，我们训练了 Inpaint ControlNet 来控制扩散模型。与用于一般场景的 inpaint controlnets 不同，该模型使用实例掩码进行微调，以防止前景外绘。

✨ 主要特性

• 专为电商场景优化的文本到图像扩散模型。
• 使用实例掩码微调，防止前景外绘。

📦 安装指南

文档未提供安装步骤，跳过此章节。

💻 使用示例

基础用法

from diffusers import (
    ControlNetModel,
    StableDiffusionXLControlNetPipeline,
    DDPMScheduler
)
from diffusers.utils import load_image
import torch
from PIL import Image
import numpy as np

def make_inpaint_condition(init_image, mask_image):
    init_image = np.array(init_image.convert("RGB")).astype(np.float32) / 255.0
    mask_image = np.array(mask_image.convert("L")).astype(np.float32) / 255.0
    assert init_image.shape[0:1] == mask_image.shape[0:1], "image and image_mask must have the same image size"
    init_image[mask_image > 0.5] = -1.0  # set as masked pixel
    init_image = np.expand_dims(init_image, 0).transpose(0, 3, 1, 2)
    init_image = torch.from_numpy(init_image)
    return init_image

def add_fg(full_img, fg_img, mask_img):
    full_img = np.array(full_img).astype(np.float32)
    fg_img = np.array(fg_img).astype(np.float32)
    mask_img = np.array(mask_img).astype(np.float32) / 255.
    full_img = full_img * mask_img + fg_img * (1-mask_img)
    return Image.fromarray(np.clip(full_img, 0, 255).astype(np.uint8))

controlnet = ControlNetModel.from_pretrained(
    "alimama-creative/EcomXL_controlnet_inpaint",
    use_safetensors=True,
)

pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", 
    controlnet=controlnet, 
)
pipe.to("cuda")
pipe.scheduler = DDPMScheduler.from_config(pipe.scheduler.config)

image = load_image(
    "https://huggingface.co/alimama-creative/EcomXL_controlnet_inpaint/resolve/main/images/inp_0.png"
)
mask = load_image(
    "https://huggingface.co/alimama-creative/EcomXL_controlnet_inpaint/resolve/main/images/inp_1.png"
)
mask = Image.fromarray(255 - np.array(mask))

control_image = make_inpaint_condition(image, mask)

prompt="a product on the table"

generator = torch.Generator(device="cuda").manual_seed(1234)

res_image = pipe(
    prompt,
    image=control_image,
    num_inference_steps=25,
    guidance_scale=7,
    width=1024,
    height=1024,
    controlnet_conditioning_scale=0.5,
    generator=generator,
).images[0]

res_image = add_fg(res_image, image, mask)
res_image.save(f'res.png')

该模型在控制网络权重（controlnet_condition_scale）为 0.5 时表现良好。

📚 详细文档

示例展示

这些案例使用 AUTOMATIC1111/stable-diffusion-webui 生成。

前景	掩码	无实例掩码	有实例掩码

🔧 技术细节

训练详情

• 第一阶段：模型在 1200 万张 laion2B 和内部源图像上，使用随机掩码训练 20000 步。
• 第二阶段：模型在 300 万张电商图像上，使用实例掩码训练 20000 步。

训练参数

• 混合精度：FP16
• 学习率：1e - 4
• 批量大小：2048
• 噪声偏移：0.05

📄 许可证

本项目采用 Apache-2.0 许可证。