PE Core L14 336

🚀 感知編碼器（Perception Encoder）

感知編碼器（Perception Encoder）是一種通過簡單的視覺 - 語言學習訓練的圖像和視頻理解編碼器，在多種視覺任務中表現出色，能為下游任務提供強大的通用特徵。

🚀 快速開始

感知編碼器（PE）是通過簡單的視覺 - 語言學習訓練的用於圖像和視頻理解的先進編碼器。它在論文 "Perception Encoder: The best visual embeddings are not at the output of the network" 中被提出。

你可以通過以下鏈接查看技術報告和 GitHub 倉庫：

• 📃 技術報告
• 📂 GitHub

✨ 主要特性

• 先進性能：感知編碼器（PE）是一系列大規模視覺編碼器模型，在各種視覺任務中具有先進的性能。
• 通用特徵：通過強大的對比預訓練和合成對齊視頻的微調，不僅在分類和檢索任務上優於現有模型，還能在內部產生強大的通用特徵，可用於下游任務。
• 多尺度模型：PE core 目前有 3 種尺寸，分別為 B/16、L/14 和 G/14，以滿足不同的需求。

📦 安裝指南

我們在 https://github.com/facebookresearch/perception_models 提供了模型加載代碼。你可以按照以下步驟進行安裝：

git clone https://github.com/facebookresearch/perception_models.git
cd perception_models
conda create --name perception_models python=3.12
conda activate perception_models
# 安裝 PyTorch
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers --index-url https://download.pytorch.org/whl/cu124
# 我們使用 torchcodec 將視頻解碼為 PyTorch 張量
conda install ffmpeg -c conda-forge
pip install torchcodec==0.1 --index-url=https://download.pytorch.org/whl/cu124
pip install -e .

這將安裝一個可編輯版本的倉庫，允許你在不每次重新安裝包的情況下對代碼進行更改。

💻 使用示例

基礎用法

import torch
from PIL import Image
import core.vision_encoder.pe as pe
import core.vision_encoder.transforms as transforms

print("CLIP configs:", pe.CLIP.available_configs())
# CLIP configs: ['PE-Core-G14-448', 'PE-Core-L14-336', 'PE-Core-B16-224']

model = pe.CLIP.from_config("PE-Core-L14-336", pretrained=True)  # 從 HF 下載
model = model.cuda()

preprocess = transforms.get_image_transform(model.image_size)
tokenizer = transforms.get_text_tokenizer(model.context_length)

image = preprocess(Image.open("docs/assets/cat.png")).unsqueeze(0).cuda()
text = tokenizer(["a diagram", "a dog", "a cat"]).cuda()

with torch.no_grad(), torch.autocast("cuda"):
    image_features, text_features, logit_scale = model(image, text)
    text_probs = (logit_scale * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", text_probs)  # 輸出: [[0.0, 0.0, 1.0]]

你可以在 GitHub 倉庫中找到更多詳細信息。

🔧 技術細節

模型配置

PE core 目前有 3 種尺寸，PE core G 是主要的檢查點，L 和 B 模型是從它蒸餾而來的。

所有 PE core 模型在視覺塔頂部使用一個具有 8 個頭的注意力池化塊。L 和 B 模型 另外 有一個用於全局聚合的類標記。更多詳細信息請參閱論文。

模型性能

PE core 在零樣本圖像分類和檢索 以及 零樣本視頻分類和檢索方面取得了非常強的結果。以下是其在這些領域的部分性能表現：

PE core 在諸如 ObjectNet 和 ImageNet - A 等 困難 基準測試中表現尤其出色。

📄 許可證

本項目採用 Apache - 2.0 許可證。

📚 詳細文檔

你可以在 https://github.com/facebookresearch/perception_models 找到更多詳細信息。

📖 引用

如果你發現我們的代碼對你的研究有用，請考慮引用：

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv},
  year={2025}
}

@article{cho2025PerceptionLM,
  title={PerceptionLM: Open-Access Data and Models for Detailed Visual Understanding},
  author={Jang Hyun Cho and Andrea Madotto and Effrosyni Mavroudi and Triantafyllos Afouras and Tushar Nagarajan and Muhammad Maaz and Yale Song and Tengyu Ma and Shuming Hu and Hanoona Rasheed and Peize Sun and Po-Yao Huang and Daniel Bolya and Suyog Jain and Miguel Martin and Huiyu Wang and Nikhila Ravi and Shashank Jain and Temmy Stark and Shane Moon and Babak Damavandi and Vivian Lee and Andrew Westbury and Salman Khan and Philipp Kr\"{a}henb\"{u}hl and Piotr Doll{\'a}r and Lorenzo Torresani and Kristen Grauman and Christoph Feichtenhofer},
  journal={arXiv},
  year={2025}
}