Ecomxl Controlnet Inpaint

🚀 EcomXL Inpaint ControlNet

EcomXL 包含一系列專為電商場景優化的文本到圖像擴散模型，它基於 Stable Diffusion XL 開發。針對電商場景，我們訓練了 Inpaint ControlNet 來控制擴散模型。與用於一般場景的 inpaint controlnets 不同，該模型使用實例掩碼進行微調，以防止前景外繪。

✨ 主要特性

• 專為電商場景優化的文本到圖像擴散模型。
• 使用實例掩碼微調，防止前景外繪。

📦 安裝指南

文檔未提供安裝步驟，跳過此章節。

💻 使用示例

基礎用法

from diffusers import (
    ControlNetModel,
    StableDiffusionXLControlNetPipeline,
    DDPMScheduler
)
from diffusers.utils import load_image
import torch
from PIL import Image
import numpy as np

def make_inpaint_condition(init_image, mask_image):
    init_image = np.array(init_image.convert("RGB")).astype(np.float32) / 255.0
    mask_image = np.array(mask_image.convert("L")).astype(np.float32) / 255.0
    assert init_image.shape[0:1] == mask_image.shape[0:1], "image and image_mask must have the same image size"
    init_image[mask_image > 0.5] = -1.0  # set as masked pixel
    init_image = np.expand_dims(init_image, 0).transpose(0, 3, 1, 2)
    init_image = torch.from_numpy(init_image)
    return init_image

def add_fg(full_img, fg_img, mask_img):
    full_img = np.array(full_img).astype(np.float32)
    fg_img = np.array(fg_img).astype(np.float32)
    mask_img = np.array(mask_img).astype(np.float32) / 255.
    full_img = full_img * mask_img + fg_img * (1-mask_img)
    return Image.fromarray(np.clip(full_img, 0, 255).astype(np.uint8))

controlnet = ControlNetModel.from_pretrained(
    "alimama-creative/EcomXL_controlnet_inpaint",
    use_safetensors=True,
)

pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", 
    controlnet=controlnet, 
)
pipe.to("cuda")
pipe.scheduler = DDPMScheduler.from_config(pipe.scheduler.config)

image = load_image(
    "https://huggingface.co/alimama-creative/EcomXL_controlnet_inpaint/resolve/main/images/inp_0.png"
)
mask = load_image(
    "https://huggingface.co/alimama-creative/EcomXL_controlnet_inpaint/resolve/main/images/inp_1.png"
)
mask = Image.fromarray(255 - np.array(mask))

control_image = make_inpaint_condition(image, mask)

prompt="a product on the table"

generator = torch.Generator(device="cuda").manual_seed(1234)

res_image = pipe(
    prompt,
    image=control_image,
    num_inference_steps=25,
    guidance_scale=7,
    width=1024,
    height=1024,
    controlnet_conditioning_scale=0.5,
    generator=generator,
).images[0]

res_image = add_fg(res_image, image, mask)
res_image.save(f'res.png')

該模型在控制網絡權重（controlnet_condition_scale）為 0.5 時表現良好。

📚 詳細文檔

示例展示

這些案例使用 AUTOMATIC1111/stable-diffusion-webui 生成。

前景	掩碼	無實例掩碼	有實例掩碼

🔧 技術細節

訓練詳情

• 第一階段：模型在 1200 萬張 laion2B 和內部源圖像上，使用隨機掩碼訓練 20000 步。
• 第二階段：模型在 300 萬張電商圖像上，使用實例掩碼訓練 20000 步。

訓練參數

• 混合精度：FP16
• 學習率：1e - 4
• 批量大小：2048
• 噪聲偏移：0.05

📄 許可證

本項目採用 Apache-2.0 許可證。