PE Core L14 336

🚀 感知编码器（Perception Encoder）

感知编码器（Perception Encoder）是一种通过简单的视觉 - 语言学习训练的图像和视频理解编码器，在多种视觉任务中表现出色，能为下游任务提供强大的通用特征。

🚀 快速开始

感知编码器（PE）是通过简单的视觉 - 语言学习训练的用于图像和视频理解的先进编码器。它在论文 "Perception Encoder: The best visual embeddings are not at the output of the network" 中被提出。

你可以通过以下链接查看技术报告和 GitHub 仓库：

• 📃 技术报告
• 📂 GitHub

✨ 主要特性

• 先进性能：感知编码器（PE）是一系列大规模视觉编码器模型，在各种视觉任务中具有先进的性能。
• 通用特征：通过强大的对比预训练和合成对齐视频的微调，不仅在分类和检索任务上优于现有模型，还能在内部产生强大的通用特征，可用于下游任务。
• 多尺度模型：PE core 目前有 3 种尺寸，分别为 B/16、L/14 和 G/14，以满足不同的需求。

📦 安装指南

我们在 https://github.com/facebookresearch/perception_models 提供了模型加载代码。你可以按照以下步骤进行安装：

git clone https://github.com/facebookresearch/perception_models.git
cd perception_models
conda create --name perception_models python=3.12
conda activate perception_models
# 安装 PyTorch
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers --index-url https://download.pytorch.org/whl/cu124
# 我们使用 torchcodec 将视频解码为 PyTorch 张量
conda install ffmpeg -c conda-forge
pip install torchcodec==0.1 --index-url=https://download.pytorch.org/whl/cu124
pip install -e .

这将安装一个可编辑版本的仓库，允许你在不每次重新安装包的情况下对代码进行更改。

💻 使用示例

基础用法

import torch
from PIL import Image
import core.vision_encoder.pe as pe
import core.vision_encoder.transforms as transforms

print("CLIP configs:", pe.CLIP.available_configs())
# CLIP configs: ['PE-Core-G14-448', 'PE-Core-L14-336', 'PE-Core-B16-224']

model = pe.CLIP.from_config("PE-Core-L14-336", pretrained=True)  # 从 HF 下载
model = model.cuda()

preprocess = transforms.get_image_transform(model.image_size)
tokenizer = transforms.get_text_tokenizer(model.context_length)

image = preprocess(Image.open("docs/assets/cat.png")).unsqueeze(0).cuda()
text = tokenizer(["a diagram", "a dog", "a cat"]).cuda()

with torch.no_grad(), torch.autocast("cuda"):
    image_features, text_features, logit_scale = model(image, text)
    text_probs = (logit_scale * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", text_probs)  # 输出: [[0.0, 0.0, 1.0]]

你可以在 GitHub 仓库中找到更多详细信息。

🔧 技术细节

模型配置

PE core 目前有 3 种尺寸，PE core G 是主要的检查点，L 和 B 模型是从它蒸馏而来的。

所有 PE core 模型在视觉塔顶部使用一个具有 8 个头的注意力池化块。L 和 B 模型 另外 有一个用于全局聚合的类标记。更多详细信息请参阅论文。

模型性能

PE core 在零样本图像分类和检索 以及 零样本视频分类和检索方面取得了非常强的结果。以下是其在这些领域的部分性能表现：

PE core 在诸如 ObjectNet 和 ImageNet - A 等 困难 基准测试中表现尤其出色。

📄 许可证

本项目采用 Apache - 2.0 许可证。

📚 详细文档

你可以在 https://github.com/facebookresearch/perception_models 找到更多详细信息。

📖 引用

如果你发现我们的代码对你的研究有用，请考虑引用：

@article{bolya2025PerceptionEncoder,
  title={Perception Encoder: The best visual embeddings are not at the output of the network},
  author={Daniel Bolya and Po-Yao Huang and Peize Sun and Jang Hyun Cho and Andrea Madotto and Chen Wei and Tengyu Ma and Jiale Zhi and Jathushan Rajasegaran and Hanoona Rasheed and Junke Wang and Marco Monteiro and Hu Xu and Shiyu Dong and Nikhila Ravi and Daniel Li and Piotr Doll{\'a}r and Christoph Feichtenhofer},
  journal={arXiv},
  year={2025}
}

@article{cho2025PerceptionLM,
  title={PerceptionLM: Open-Access Data and Models for Detailed Visual Understanding},
  author={Jang Hyun Cho and Andrea Madotto and Effrosyni Mavroudi and Triantafyllos Afouras and Tushar Nagarajan and Muhammad Maaz and Yale Song and Tengyu Ma and Shuming Hu and Hanoona Rasheed and Peize Sun and Po-Yao Huang and Daniel Bolya and Suyog Jain and Miguel Martin and Huiyu Wang and Nikhila Ravi and Shashank Jain and Temmy Stark and Shane Moon and Babak Damavandi and Vivian Lee and Andrew Westbury and Salman Khan and Philipp Kr\"{a}henb\"{u}hl and Piotr Doll{\'a}r and Lorenzo Torresani and Kristen Grauman and Christoph Feichtenhofer},
  journal={arXiv},
  year={2025}
}