Aimv2 Large Patch14 224 Lit

🚀 Transformers - 零样本图像分类模型

本项目引入了基于多模态自回归目标进行预训练的AIMv2系列视觉模型。AIMv2预训练简单直接，易于训练和有效扩展。该模型在多模态理解基准测试、开放词汇目标检测和指代表达理解等方面表现出色。

🚀 快速开始

模型信息

模型亮点

1. 在大多数多模态理解基准测试中，性能优于OAI CLIP和SigLIP。
2. 在开放词汇目标检测和指代表达理解方面，表现优于DINOv2。
3. AIMv2 - 3B模型在使用冻结主干的情况下，在ImageNet上达到了89.5%的识别准确率。

💻 使用示例

基础用法

import requests
from PIL import Image
from transformers import AutoProcessor, AutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
text = ["Picture of a dog.", "Picture of a cat.", "Picture of a horse."]

processor = AutoProcessor.from_pretrained(
    "apple/aimv2-large-patch14-224-lit",
)
model = AutoModel.from_pretrained(
    "apple/aimv2-large-patch14-224-lit",
    trust_remote_code=True,
)

inputs = processor(
    images=image,
    text=text,
    add_special_tokens=True,
    truncation=True,
    padding=True,
    return_tensors="pt",
)
outputs = model(**inputs)
probs = outputs.logits_per_image.softmax(dim=-1)

高级用法

JAX版本正在建设中。

📄 许可证

本项目使用的许可证为apple-amlr。

📚 详细文档

引用信息

如果您觉得我们的工作有用，请考虑引用我们的论文：

@misc{fini2024multimodalautoregressivepretraininglarge,
  author      = {Fini, Enrico and Shukor, Mustafa and Li, Xiujun and Dufter, Philipp and Klein, Michal and Haldimann, David and Aitharaju, Sai and da Costa, Victor Guilherme Turrisi and Béthune, Louis and Gan, Zhe and Toshev, Alexander T and Eichner, Marcin and Nabi, Moin and Yang, Yinfei and Susskind, Joshua M. and El-Nouby, Alaaeldin},
  url         = {https://arxiv.org/abs/2411.14402},
  eprint      = {2411.14402},
  eprintclass = {cs.CV},
  eprinttype  = {arXiv},
  title       = {Multimodal Autoregressive Pre-training of Large Vision Encoders},
  year        = {2024},
}

论文链接：[AIMv2 Paper]