Seg Zero 7B

🚀 Seg-Zero-7B

Seg-Zero-7B是一个基于推理链引导的图像分割模型，通过认知强化实现零样本泛化和测试时推理。

🚀 快速开始

Seg-Zero-7B模型基于论文Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement。它采用了解耦架构，包含推理模型和分割模型。该模型通过使用GRPO的强化学习进行训练，无需显式的推理数据，从而实现了强大的零样本泛化能力和测试时推理能力。

代码仓库：https://github.com/dvlab-research/Seg-Zero

✨ 主要特性

• 采用解耦架构，由推理模型和分割模型组成。
• 推理模型可解读用户意图，生成显式推理链和位置提示，供分割模型生成像素级掩码。
• 通过强化学习训练，无需显式推理数据，具备强大的零样本泛化能力。

📦 安装指南

git clone https://github.com/dvlab-research/Seg-Zero.git
cd Seg-Zero
conda create -n seg_zero python=3.11
conda activate seg_zero
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1
pip install -e .
pip install sam2
pip install matplotlib

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# load model
model = AutoModelForCausalLM.from_pretrained("Ricky06662/Seg-Zero-7B")
tokenizer = AutoTokenizer.from_pretrained("Ricky06662/Seg-Zero-7B")

高级用法

推理命令

python inference_scripts/infer.py

默认问题为：

"the unusual object in the image."

你将在命令行中看到思考过程，掩码将保存在inference_scripts文件夹中。你也可以提供自己的图像路径和文本：

python inference_scripts/infer.py --image_path "your_image_path" --text "your question text"

📄 许可证

该项目使用其他许可证。