Aimv2 Huge Patch14 336

🚀 图像特征提取库transformers

transformers是一个用于图像特征提取的库，它引入了基于多模态自回归目标预训练的AIMv2系列视觉模型。该模型预训练简单直接，能有效进行训练和扩展，在多个多模态理解基准测试中表现出色。

🚀 快速开始

简介

[AIMv2论文] [BibTeX]

我们引入了通过多模态自回归目标进行预训练的AIMv2系列视觉模型。AIMv2的预训练过程简单直接，并且能够有效地进行训练和扩展。AIMv2的一些亮点包括：

1. 在大多数多模态理解基准测试中优于OAI CLIP和SigLIP。
2. 在开放词汇对象检测和指代表达理解方面优于DINOv2。
3. 展现出强大的识别性能，AIMv2 - 3B在使用冻结主干的情况下在ImageNet上达到了*89.5%的准确率。

📦 安装指南

文档未提供安装步骤，跳过此章节。

💻 使用示例

基础用法

PyTorch

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-huge-patch14-336",
)
model = AutoModel.from_pretrained(
    "apple/aimv2-huge-patch14-336",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

JAX

import requests
from PIL import Image
from transformers import AutoImageProcessor, FlaxAutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-huge-patch14-336",
)
model = FlaxAutoModel.from_pretrained(
    "apple/aimv2-huge-patch14-336",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="jax")
outputs = model(**inputs)

📚 详细文档

模型指标

模型结果

📄 许可证

本项目使用apple - amlr许可证。

📖 引用

如果您觉得我们的工作有用，请考虑按以下方式引用：

@misc{fini2024multimodalautoregressivepretraininglarge,
  author      = {Fini, Enrico and Shukor, Mustafa and Li, Xiujun and Dufter, Philipp and Klein, Michal and Haldimann, David and Aitharaju, Sai and da Costa, Victor Guilherme Turrisi and Béthune, Louis and Gan, Zhe and Toshev, Alexander T and Eichner, Marcin and Nabi, Moin and Yang, Yinfei and Susskind, Joshua M. and El-Nouby, Alaaeldin},
  url         = {https://arxiv.org/abs/2411.14402},
  eprint      = {2411.14402},
  eprintclass = {cs.CV},
  eprinttype  = {arXiv},
  title       = {Multimodal Autoregressive Pre-training of Large Vision Encoders},
  year        = {2024},
}