Seg Zero 7B

🚀 Seg-Zero-7B

このモデルは、論文 Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement に基づいています。推論モデルとセグメンテーションモデルを用いた分離型アーキテクチャを採用しています。明示的な推論データを使用せずにGRPOを用いた強化学習によって訓練されており、堅牢なゼロショット汎化能力とテスト時の推論能力を備えています。

📚 ドキュメント

概要

これはSeg-Zero-7Bモデルです。推論モデルとセグメンテーションモデルから構成される分離型アーキテクチャを導入しています。推論モデルはユーザーの意図を解釈し、明示的な推論チェーンを生成し、位置プロンプトを生成します。これらのプロンプトは、セグメンテーションモデルによってピクセルレベルのマスクを生成するために使用されます。

モデル情報

コードリポジトリ

コードはこちらから入手できます: https://github.com/dvlab-research/Seg-Zero

📦 インストール

git clone https://github.com/dvlab-research/Seg-Zero.git
cd Seg-Zero
conda create -n seg_zero python=3.11
conda activate seg_zero
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1
pip install -e .
pip install sam2
pip install matplotlib

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# load model
model = AutoModelForCausalLM.from_pretrained("Ricky06662/Seg-Zero-7B")
tokenizer = AutoTokenizer.from_pretrained("Ricky06662/Seg-Zero-7B")

推論

python inference_scripts/infer.py

デフォルトの質問は以下の通りです:

"the unusual object in the image."

コマンドラインで思考プロセスが表示され、マスクは inference_scripts フォルダに保存されます。独自の画像パスとテキストを指定することもできます:

python inference_scripts/infer.py --image_path "your_image_path" --text "your question text"

📄 ライセンス

ライセンスは "other" です。