Seg Zero 7B

🚀 Seg-Zero-7B

Seg-Zero-7B是一個基於推理鏈引導的圖像分割模型，通過認知強化實現零樣本泛化和測試時推理。

🚀 快速開始

Seg-Zero-7B模型基於論文Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement。它採用瞭解耦架構，包含推理模型和分割模型。該模型通過使用GRPO的強化學習進行訓練，無需顯式的推理數據，從而實現了強大的零樣本泛化能力和測試時推理能力。

代碼倉庫：https://github.com/dvlab-research/Seg-Zero

✨ 主要特性

• 採用解耦架構，由推理模型和分割模型組成。
• 推理模型可解讀用戶意圖，生成顯式推理鏈和位置提示，供分割模型生成像素級掩碼。
• 通過強化學習訓練，無需顯式推理數據，具備強大的零樣本泛化能力。

📦 安裝指南

git clone https://github.com/dvlab-research/Seg-Zero.git
cd Seg-Zero
conda create -n seg_zero python=3.11
conda activate seg_zero
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1
pip install -e .
pip install sam2
pip install matplotlib

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# load model
model = AutoModelForCausalLM.from_pretrained("Ricky06662/Seg-Zero-7B")
tokenizer = AutoTokenizer.from_pretrained("Ricky06662/Seg-Zero-7B")

高級用法

推理命令

python inference_scripts/infer.py

默認問題為：

"the unusual object in the image."

你將在命令行中看到思考過程，掩碼將保存在inference_scripts文件夾中。你也可以提供自己的圖像路徑和文本：

python inference_scripts/infer.py --image_path "your_image_path" --text "your question text"

📄 許可證

該項目使用其他許可證。