Finegrain Box Segmenter

🚀 Finegrain Box Segmenter v0.1 版本发布说明

Finegrain Box Segmenter v0.1 是一款用于图像分割的工具，它能够生成高质量的掩码，帮助用户精准地选择图像中的对象，在电商等领域有广泛应用。

🚀 快速开始

如果你想尝试使用 Finegrain Box Segmenter，最佳方式是查看我们在 Hugging Face 上发布的 Finegrain Object Cutter Space。这是一个有趣的“通过提示进行裁剪”的体验，只需指定对象名称，你就能为照片中的任何对象创建像素级质量和高分辨率的裁剪图。

✨ 主要特性

• 生成高清且像素级质量的掩码：能够为图像中的对象生成高质量的掩码。
• 通过框提示赋予用户控制权：用户可以通过框提示来选择需要处理的对象。
• 输出 alpha 掩码：可作为端到端的抠图分割器使用，无需任何后处理或 trimap。

📦 安装指南

使用 ComfyUI 安装

安装 comfyui-refiners 自定义节点：

comfy node registry-install comfyui-refiners

💻 使用示例

基础用法

from PIL import Image
from refiners.solutions import BoxSegmenter

input_image = Image.open("input.png") 

# 从 finegrain/finegrain-box-segmenter 下载权重
segmenter = BoxSegmenter()
# box_prompt 格式为 (x_min, y_min, x_max, y_max)
mask = segmenter(input_image, box_prompt=(24, 133, 588, 531))
# 或者不使用 box_prompt 作为背景去除器
# mask = segmenter(input_image.convert("RGB"))
mask.save("output.png")

高级用法

使用 ComfyUI

安装 comfyui-refiners 自定义节点后，可使用 示例工作流。

通过 HuggingFace Space

你可以在我们的 HuggingFace Space 上免费直接尝试使用，但可能会受到 ZeroGPU 的速率限制。自己运行模型会有更好的性能，使用我们的 API 性能会更佳（请 联系我们）。

📚 详细文档

动机

在构建 Finegrain 时，我们需要一种方法为图像中的对象创建像素完美且高分辨率的裁剪图。我们研究了现有的解决方案，但它们并不适合我们的需求：

• 传统背景去除模型：虽然能够生成高清裁剪图，但不同人对图像中背景和前景的定义不同，且缺少对这些模型进行提示的方式。
• 新的可提示方法（如 SAM 或 SAM2）：无法满足我们所追求的用例的质量标准，它们内部生成的是 256x256 的低分辨率掩码，内置的上采样机制会产生伪影，并且在处理复杂掩码（如埃菲尔铁塔）时存在困难。

Finegrain Box Segmenter 通过训练 MVANet 成为一个可通过框提示的高清（1024x1024）对象裁剪模型，避免了上述问题，不预先假设背景和前景，用户可以完全控制。

使用场景

你可以将 Finegrain Box Segmenter 视为一种以像素级精度和高分辨率选择图像中对象的方法。它是许多对象操作任务的先决条件，例如：

• 去除对象周围的背景
• 更改对象周围的背景
• 从图像中擦除对象
• 重新着色图像中的对象
• 替换图像中的对象

训练

我们的重点是电商领域，因此使用了来自两个来源的产品数据集来训练模型：

• Nfinite：
  • 7769 张图像
  • 合成数据（3D）
  • 14818 个像素级质量的掩码
  • 室内设计物品
  • 开源：Nfiniteai/product-masks-sample
• Finegrain：
  • 通过硬负挖掘获取的 1184 张图像
  • 自然数据（工作室和用户生成内容照片）
  • 1479 个像素级质量的掩码
  • 常见对象
  • 闭源

我们摒弃了常用的随机裁剪方法，设计了自定义的裁剪策略，以确保模型理解在给定边界框中选择哪个对象。我们使用了 5 的批量大小来提高训练稳定性。

评估

考虑到我们对电商的关注，我们精心制作了一个特定的测试集，并为了便于与其他模型和解决方案进行基准测试，我们决定将其中一部分开源为 Finegrain Product Masks Lite，其中包含 120 个常见对象的像素级质量掩码（包括用户生成内容和工作室照片）。

我们使用了常见的指标，即 MAE、Smeasure、Emeasure 和 Dice，这些指标使用 PySODMetrics 计算。我们稍后会添加更多指标以考虑抠图方面（透明对象），这仍在我们的开发中。

(x) 使用带有 5% 边距的裁剪

(xx) 使用 BiRefNet 中的“Segmentation With Box Guidance”

局限性

Finegrain Box Segmenter v0.1 存在一些局限性，这些问题将在未来版本中解决：

• 尚未内置提示功能
• 当对象与图像边缘接触时表现不佳
• 尚不支持对 STM（显著透明/精细对象）或 NS（非显著对象）掩码进行抠图（有关 SO/STM/NS 的定义，请参阅 Deep Automatic Natural Image Matting）
• 尚未完全解决硬阴影、强反射或手持配置等复杂情况：

偏差与公平性

由于我们的重点是电商领域，尚未进行全面的偏差和公平性审查。这将在未来版本中解决。

📄 许可证

Finegrain Box Segmenter 以 MIT 许可证发布。祝你在项目中使用愉快！如果你需要优化版本（在速度和准确性方面），我们提供 API - 请 联系我们！