Finegrain Box Segmenter

🚀 Finegrain Box Segmenter v0.1のリリースノート

Finegrain Box Segmenter v0.1は、画像内のオブジェクトを高精度かつ高解像度で切り抜くためのモデルです。このモデルは、eコマース向けに開発されており、特定のオブジェクトを選択し、背景を除去するなどのタスクに最適です。

🚀 クイックスタート

Finegrain Box Segmenterを試してみたい場合は、Hugging Face上で公開しているFinegrain Object Cutter Spaceをご覧ください。これは、写真内の任意のオブジェクトを名前を指定するだけで、ピクセル品質と高解像度の切り抜き画像を作成できる楽しい「プロンプトから切り抜き」体験です。

✨ 主な機能

• 高解像度のマスク生成：HDかつピクセル品質のマスクを生成します。
• ボックスプロンプトによる制御：ユーザーがボックスプロンプトを使用してオブジェクトを選択できます。
• アルファマスクの出力：後処理やトリマップなしで、エンドツーエンドのマッティングセグメンターとして使用できます。

📦 インストール

refinersを使用する場合 (https://github.com/finegrain-ai/refiners)

from PIL import Image
from refiners.solutions import BoxSegmenter

input_image = Image.open("input.png") 

# finegrain/finegrain-box-segmenterから重みをダウンロード
segmenter = BoxSegmenter()
# box_promptは (x_min, y_min, x_max, y_max)
mask = segmenter(input_image, box_prompt=(24, 133, 588, 531))
# または、box_promptなしで背景除去モードで使用
# mask = segmenter(input_image.convert("RGB"))
mask.save("output.png")

ComfyUIを使用する場合 (https://registry.comfy.org/publishers/finegrain/nodes/comfyui-refiners)

comfyui-refiners カスタムノードをインストールします。

comfy node registry-install comfyui-refiners

サンプルワークフロー

HuggingFace Spaceを使用する場合 (https://huggingface.co/spaces/finegrain/finegrain-object-cutter)

当社のスペースで無料で直接試すことができますが、ZeroGPUによるレート制限を受ける可能性があります。モデルを自分で実行すると、より良いパフォーマンスが得られ、当社のAPIを使用するとさらに良い結果が得られます（お問い合わせください！）

💻 使用例

基本的な使用法

from PIL import Image
from refiners.solutions import BoxSegmenter

input_image = Image.open("input.png") 

# finegrain/finegrain-box-segmenterから重みをダウンロード
segmenter = BoxSegmenter()
# box_promptは (x_min, y_min, x_max, y_max)
mask = segmenter(input_image, box_prompt=(24, 133, 588, 531))
# または、box_promptなしで背景除去モードで使用
# mask = segmenter(input_image.convert("RGB"))
mask.save("output.png")

高度な使用法

ComfyUIを使用して、カスタムノードをインストールし、サンプルワークフローを実行することができます。

comfy node registry-install comfyui-refiners

サンプルワークフロー

📚 ドキュメント

動機

Finegrainを開発する際、画像内のオブジェクトをピクセルパーフェクトかつ高解像度で切り抜く方法が必要でした。既存のオフザシェルフのソリューションを検討しましたが、当社のニーズに合わないものでした。

• 一方で、従来の背景除去モデルはHDの切り抜き画像を生成するのに優れていますが、与えられた画像内の背景と前景の定義は人によって異なり、これらのモデルにプロンプトを与える方法が欠けています。
• 他方で、SAMやSAM2のような新しいプロンプト可能なアプローチは、当社が追求するユースケースの品質基準を満たしていません。これらは内部的に256x256の低解像度マスクを生成し、組み込まれたアップスケーリングメカニズムがアーティファクトを生成し、複雑なマスク（エッフェル塔のような）に対応できません。

Finegrain Box Segmenterは、MVANetをトレーニングして、ボックスプロンプト可能な高解像度（1024x1024）のオブジェクト切り抜きモデルとして、背景と前景の仮定をせずに、ユーザーが完全に制御できるようにします。

ユースケース

Finegrain Box Segmenterは、画像内のオブジェクトをピクセルレベルの精度で高解像度で選択する方法と考えてください。 これは、以下のような多くのオブジェクト操作タスクの前提条件です。

• オブジェクトの周りの背景を除去する
• オブジェクトの周りの背景を変更する
• 画像からオブジェクトを消去する
• 画像内のオブジェクトを再着色する
• 画像内のオブジェクトを置き換える
• ...

デフォルトでは、Finegrain Box Segmenterはバウンディングボックスを入力として必要としますが、「プロンプトからオブジェクトを選択」シナリオを有効にするために簡単に拡張できます。Finegrain Object Cutter Hugging Face spaceを参照してください。

トレーニング

当社のFinegrainでは、eコマースに焦点を当てています。そのため、以下の2つのソースからの製品データセットを使用してモデルをトレーニングしました。

• Nfinite：
  • 7769枚の画像
  • 合成データ（3D）
  • 14818枚のピクセル品質のマスク
  • インテリアデザインアイテム
  • オープンソース：Nfiniteai/product-masks-sample
• Finegrain：
  • ハードネガティブマイニングによって収集された1184枚の画像
  • 自然データ（スタジオ写真とUGC写真の両方）
  • 1479枚のピクセル品質のマスク
  • 一般的なオブジェクト
  • クローズドソース

通常のランダムクロップアプローチから離れ、カスタムクロッピング戦略を設計して、モデルが与えられたバウンディングボックス内のオブジェクトを選択する方法を理解できるようにしました。トレーニングの安定性を向上させるために、バッチサイズを5に設定しました。

評価

eコマースに焦点を当てているため、特定のテストセットを作成し、他のモデルやソリューションとのベンチマークを容易にするために、その一部をFinegrain Product Masks Liteとしてオープンソース化することにしました。これには、一般的なオブジェクト（UGC写真とスタジオ写真の両方）の120枚のピクセル品質のマスクが含まれています。

通常の指標であるMAE、Smeasure、Emeasure、Diceを使用して評価しています。これらはPySODMetricsを使用して計算されます。後でマッティングの側面（透明オブジェクト）を考慮するために、さらに指標を追加する予定ですが、まだ開発中です。

(x) 5%のマージンでクロッピングを使用

(xx) BiRefNetの「Segmentation With Box Guidance」を使用

制限事項

Finegrain Box Segmenter v0.1には、将来的なバージョンで解決されるいくつかの制限があります。

• プロンプト機能はまだ組み込まれていません。
• オブジェクトが画像の端に触れている場合、うまく機能しません。
• まだSTM（顕著な透明/緻密なオブジェクト）またはNS（非顕著）マスクのマッティングをサポートしていません（Deep Automatic Natural Image Mattingを参照してください）。
• 硬い影、強い反射、手持ちの構成などの難しいケースにはまだ完全に対応できていません。

	強い反射	硬い影	手持ち
画像
briaai/RMBG-1.4
ZhengPeng7/BiRefNet
finegrain/finegrain-box-segmenter

バイアスと公平性

eコマースに焦点を当てているため、まだバイアスと公平性の徹底的なレビューを行っていません。これは将来的なリリースで対応する予定です。

🔧 技術詳細

Finegrain Box Segmenterは、MVANetをベースに構築されており、ボックスプロンプト可能な高解像度（1024x1024）のオブジェクト切り抜きモデルです。このモデルは、eコマース向けに開発されており、特定のオブジェクトを選択し、背景を除去するなどのタスクに最適です。

📄 ライセンス

Finegrain Box Segmenterは、MITライセンスの下で公開されています。あなたのプロジェクトで楽しく使用してください！最適化されたバージョン（速度と精度の面で）が必要な場合は、当社のAPIを提供しています。お問い合わせください！