Aimv2 3B Patch14 448

🚀 图像特征提取模型AIMv2

AIMv2是一系列基于多模态自回归目标进行预训练的视觉模型，训练和扩展简单直接且高效。在多数多模态理解基准测试中表现出色，在开放词汇对象检测和指代表达理解等任务中也有优秀表现。

🚀 快速开始

模型信息

模型性能

模型亮点

1. 在多数多模态理解基准测试中，性能优于OAI CLIP和SigLIP。
2. 在开放词汇对象检测和指代表达理解任务中，表现优于DINOv2。
3. AIMv2 - 3B在使用冻结主干的情况下，在ImageNet上达到了89.5%的准确率。

模型概述图

💻 使用示例

基础用法 - PyTorch

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-3B-patch14-448",
)
model = AutoModel.from_pretrained(
    "apple/aimv2-3B-patch14-448",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

基础用法 - JAX

import requests
from PIL import Image
from transformers import AutoImageProcessor, FlaxAutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-3B-patch14-448",
)
model = FlaxAutoModel.from_pretrained(
    "apple/aimv2-3B-patch14-448",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="jax")
outputs = model(**inputs)

📄 许可证

本项目使用的许可证为apple-amlr。

📚 详细文档

论文引用

[AIMv2 Paper] [BibTeX]

如果您觉得我们的工作有用，请考虑引用我们的论文：

@misc{fini2024multimodalautoregressivepretraininglarge,
  author      = {Fini, Enrico and Shukor, Mustafa and Li, Xiujun and Dufter, Philipp and Klein, Michal and Haldimann, David and Aitharaju, Sai and da Costa, Victor Guilherme Turrisi and Béthune, Louis and Gan, Zhe and Toshev, Alexander T and Eichner, Marcin and Nabi, Moin and Yang, Yinfei and Susskind, Joshua M. and El-Nouby, Alaaeldin},
  url         = {https://arxiv.org/abs/2411.14402},
  eprint      = {2411.14402},
  eprintclass = {cs.CV},
  eprinttype  = {arXiv},
  title       = {Multimodal Autoregressive Pre-training of Large Vision Encoders},
  year        = {2024},
}