Aimv2 3B Patch14 224

🚀 图像特征提取模型AIMv2

AIMv2是一系列基于多模态自回归目标进行预训练的视觉模型，训练过程简单直接，可有效扩展。该模型在多模态理解基准测试中表现出色，在多个分类任务上展现了高准确率。

🚀 快速开始

AIMv2是一系列通过多模态自回归目标进行预训练的视觉模型。AIMv2预训练简单直接，能够有效进行训练和扩展。以下是AIMv2的一些亮点：

1. 在大多数多模态理解基准测试中，性能优于OAI CLIP和SigLIP。
2. 在开放词汇对象检测和指代表达理解方面，性能优于DINOv2。
3. 展现出强大的识别性能，AIMv2 - 3B在使用冻结主干网络的情况下，在ImageNet上达到了89.5%的准确率。

✨ 主要特性

• 多模态理解出色：在多模态理解基准测试中超越OAI CLIP和SigLIP。
• 开放词汇任务表现佳：在开放词汇对象检测和指代表达理解上优于DINOv2。
• 高识别准确率：AIMv2 - 3B在ImageNet上使用冻结主干网络时准确率达89.5%。

📦 安装指南

文档未提及安装步骤，可参考transformers库的官方安装指南进行安装。

💻 使用示例

基础用法

PyTorch

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-3B-patch14-224",
)
model = AutoModel.from_pretrained(
    "apple/aimv2-3B-patch14-224",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

JAX

import requests
from PIL import Image
from transformers import AutoImageProcessor, FlaxAutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-3B-patch14-224",
)
model = FlaxAutoModel.from_pretrained(
    "apple/aimv2-3B-patch14-224",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="jax")
outputs = model(**inputs)

📚 详细文档

模型信息

模型性能

📄 许可证

本项目使用apple - amlr许可证。

📖 引用

如果您觉得我们的工作有用，请考虑按以下方式引用：

@misc{fini2024multimodalautoregressivepretraininglarge,
  author      = {Fini, Enrico and Shukor, Mustafa and Li, Xiujun and Dufter, Philipp and Klein, Michal and Haldimann, David and Aitharaju, Sai and da Costa, Victor Guilherme Turrisi and Béthune, Louis and Gan, Zhe and Toshev, Alexander T and Eichner, Marcin and Nabi, Moin and Yang, Yinfei and Susskind, Joshua M. and El-Nouby, Alaaeldin},
  url         = {https://arxiv.org/abs/2411.14402},
  eprint      = {2411.14402},
  eprintclass = {cs.CV},
  eprinttype  = {arXiv},
  title       = {Multimodal Autoregressive Pre-training of Large Vision Encoders},
  year        = {2024},
}