Yoloe

🚀 YOLOE：即時識別萬物

YOLOE 是一個高效、統一且開放的目標檢測與分割模型，它如同人眼一般，能在不同的提示機制（如文本、視覺輸入和無提示範式）下工作，實現即時識別萬物的功能。

🚀 快速開始

安裝

推薦使用 conda 虛擬環境：

conda create -n yoloe python=3.10 -y
conda activate yoloe

pip install -r requirements.txt
pip install -e .
pip install -e lvis-api
pip install -e ml-mobileclip
pip install -e CLIP

運行演示

若所需對象未被識別，請設置更小的置信度閾值，例如在使用手工形狀的視覺提示或跨圖像提示時：

# 可選鏡像設置：export HF_ENDPOINT=https://hf-mirror.com
pip install gradio==4.42.0 gradio_image_prompter==0.1.0 fastapi==0.112.2
python app.py
# 請訪問 http://127.0.0.1:7860

✨ 主要特性

• 高效統一：將檢測和分割功能集成在一個高效的模型中，能在不同提示機制下工作。
• 開放靈活：支持文本提示、視覺提示和無提示範式，可應對各種開放場景。
• 性能卓越：在零樣本檢測、分割和下游遷移任務中表現出色，具有高推理效率和低訓練成本。

📦 安裝指南

conda 虛擬環境是推薦的安裝方式：

conda create -n yoloe python=3.10 -y
conda activate yoloe

pip install -r requirements.txt
pip install -e .
pip install -e lvis-api
pip install -e ml-mobileclip
pip install -e CLIP

💻 使用示例

預測

文本提示

python predict.py

視覺提示

python predict_vp.py

無提示

python predict_pf.py

驗證

數據準備

• 請按照此處或 lvis.yaml 下載 LVIS 數據集。
• 使用包含背景圖像的 minival.txt 進行評估。

# 對於使用視覺提示的評估，請獲取參考數據
python tools/generate_lvis_visual_prompt_data.py

LVIS 零樣本評估

• 文本提示：python val.py
• 視覺提示：python val_vp.py

對於 Fixed AP，請參考 val.py 和 val_vp.py 中的註釋，並使用 tools/eval_fixed_ap.py 進行評估。

無提示評估

python val_pe_free.py
python tools/eval_open_ended.py --json ../datasets/lvis/annotations/lvis_v1_minival.json --pred runs/detect/val/predictions.json --fixed

COCO 下游遷移評估

python val_coco.py

訓練

訓練包括三個階段：

1. 使用文本提示對 YOLOE 進行 30 個 epoch 的檢測和分割訓練。
2. 使用視覺提示對視覺提示編碼器（SAVPE）進行 2 個 epoch 的訓練。
3. 對無提示的專用提示嵌入進行 1 個 epoch 的訓練。

數據準備

# 生成分割數據
conda create -n sam2 python==3.10.16
conda activate sam2
pip install -r sam2/requirements.txt
pip install -e sam2/

python tools/generate_sam_masks.py --img-path ../datasets/Objects365v1/images/train --json-path ../datasets/Objects365v1/annotations/objects365_train.json --batch
python tools/generate_sam_masks.py --img-path ../datasets/flickr/full_images/ --json-path ../datasets/flickr/annotations/final_flickr_separateGT_train.json
python tools/generate_sam_masks.py --img-path ../datasets/mixed_grounding/gqa/images --json-path ../datasets/mixed_grounding/annotations/final_mixed_train_no_coco.json

# 生成 objects365v1 標籤
python tools/generate_objects365v1.py

# 生成訓練數據和嵌入緩存
python tools/generate_grounding_cache.py --img-path ../datasets/flickr/full_images/ --json-path ../datasets/flickr/annotations/final_flickr_separateGT_train_segm.json
python tools/generate_grounding_cache.py --img-path ../datasets/mixed_grounding/gqa/images --json-path ../datasets/mixed_grounding/annotations/final_mixed_train_no_coco_segm.json

# 生成訓練標籤嵌入
python tools/generate_label_embedding.py
python tools/generate_global_neg_cat.py

# 下載 MobileCLIP-B(LT) 文本編碼器
wget https://docs-assets.developer.apple.com/ml-research/datasets/mobileclip/mobileclip_blt.pt

文本提示訓練

# 對於 l 規模的模型，請參考 ultralytics/nn/moduels/head.py 第 549 行的註釋更改初始化
# 若只想訓練 YOLOE 進行檢測，可使用 `train.py`
python train_seg.py

視覺提示訓練

# 對於視覺提示，由於只訓練 SAVPE，可採用檢測流水線以減少訓練時間
# 首先，獲取檢測模型
python tools/convert_segm2det.py
# 然後，訓練 SAVPE 模塊
python train_vp.py
# 訓練後，請使用 tools/get_vp_segm.py 添加分割頭
# python tools/get_vp_segm.py

無提示訓練

# 生成用於訓練評估的單類 LVIS 數據集
python tools/generate_lvis_sc.py

# 與視覺提示類似，由於只訓練專用提示嵌入，可採用檢測流水線以減少訓練時間
python tools/convert_segm2det.py
python train_pe_free.py
# 訓練後，請使用 tools/get_pf_free_segm.py 添加分割頭
# python tools/get_pf_free_segm.py

遷移學習

線性探測

只有最後一個卷積層（即提示嵌入）可訓練：

python train_pe.py

全量微調

所有參數均可訓練，以獲得更好的性能：

# 對於 s 規模的模型，請將 epoch 數改為 160 以進行更長時間的訓練
python train_pe_all.py

導出

重新參數化後，YOLOE-v8 / YOLOE-11 可以導出為與 YOLOv8 / YOLO11 相同的格式：

pip install onnx coremltools onnxslim
python export.py

基準測試

• TensorRT：請參考 benchmark.sh。
• CoreML：請使用 XCode 14 中的基準測試工具。
• 無提示設置：請參考 tools/benchmark_pf.py。

📚 詳細文檔

性能評估

零樣本檢測評估

零樣本分割評估

無提示評估

COCO 下游遷移

🔧 技術細節

目標檢測和分割在計算機視覺應用中廣泛使用，但傳統模型（如 YOLO 系列）雖然高效準確，但受限於預定義類別，在開放場景中的適應性較差。近期的開放集方法利用文本提示、視覺線索或無提示範式來克服這一問題，但由於高計算需求或部署複雜性，往往在性能和效率之間做出妥協。

在這項工作中，我們提出了 YOLOE，它將檢測和分割集成在一個高效的模型中，支持多種開放提示機制，實現即時識別萬物的功能。具體來說：

• 文本提示：提出了可重參數化區域 - 文本對齊（RepRTA）策略。通過可重參數化的輕量級輔助網絡細化預訓練的文本嵌入，並以零推理和遷移開銷增強視覺 - 文本對齊。
• 視覺提示：提出了語義激活視覺提示編碼器（SAVPE）。採用解耦的語義和激活分支，以最小的複雜度帶來改進的視覺嵌入和準確性。
• 無提示場景：引入了懶區域 - 提示對比（LRPC）策略。利用內置的大詞彙表和專用嵌入來識別所有對象，避免了對昂貴語言模型的依賴。

大量實驗表明，YOLOE 在零樣本性能和可遷移性方面表現出色，具有高推理效率和低訓練成本。

📄 許可證

本項目採用 AGPL-3.0 許可證。

致謝

代碼庫基於 ultralytics、YOLO-World、MobileCLIP、lvis-api、CLIP 和 GenerateU 構建。感謝這些優秀的實現！

引用

如果我們的代碼或模型對您的工作有幫助，請引用我們的論文：

@misc{wang2025yoloerealtimeseeing,
      title={YOLOE: Real-Time Seeing Anything}, 
      author={Ao Wang and Lihao Liu and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},
      year={2025},
      eprint={2503.07465},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.07465}, 
}