Aimv2 3B Patch14 224

🚀 圖像特徵提取模型AIMv2

AIMv2是一系列基於多模態自迴歸目標進行預訓練的視覺模型，訓練過程簡單直接，可有效擴展。該模型在多模態理解基準測試中表現出色，在多個分類任務上展現了高準確率。

🚀 快速開始

AIMv2是一系列通過多模態自迴歸目標進行預訓練的視覺模型。AIMv2預訓練簡單直接，能夠有效進行訓練和擴展。以下是AIMv2的一些亮點：

1. 在大多數多模態理解基準測試中，性能優於OAI CLIP和SigLIP。
2. 在開放詞彙對象檢測和指代表達理解方面，性能優於DINOv2。
3. 展現出強大的識別性能，AIMv2 - 3B在使用凍結主幹網絡的情況下，在ImageNet上達到了89.5%的準確率。

✨ 主要特性

• 多模態理解出色：在多模態理解基準測試中超越OAI CLIP和SigLIP。
• 開放詞彙任務表現佳：在開放詞彙對象檢測和指代表達理解上優於DINOv2。
• 高識別準確率：AIMv2 - 3B在ImageNet上使用凍結主幹網絡時準確率達89.5%。

📦 安裝指南

文檔未提及安裝步驟，可參考transformers庫的官方安裝指南進行安裝。

💻 使用示例

基礎用法

PyTorch

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-3B-patch14-224",
)
model = AutoModel.from_pretrained(
    "apple/aimv2-3B-patch14-224",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

JAX

import requests
from PIL import Image
from transformers import AutoImageProcessor, FlaxAutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-3B-patch14-224",
)
model = FlaxAutoModel.from_pretrained(
    "apple/aimv2-3B-patch14-224",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="jax")
outputs = model(**inputs)

📚 詳細文檔

模型信息

模型性能

📄 許可證

本項目使用apple - amlr許可證。

📖 引用

如果您覺得我們的工作有用，請考慮按以下方式引用：

@misc{fini2024multimodalautoregressivepretraininglarge,
  author      = {Fini, Enrico and Shukor, Mustafa and Li, Xiujun and Dufter, Philipp and Klein, Michal and Haldimann, David and Aitharaju, Sai and da Costa, Victor Guilherme Turrisi and Béthune, Louis and Gan, Zhe and Toshev, Alexander T and Eichner, Marcin and Nabi, Moin and Yang, Yinfei and Susskind, Joshua M. and El-Nouby, Alaaeldin},
  url         = {https://arxiv.org/abs/2411.14402},
  eprint      = {2411.14402},
  eprintclass = {cs.CV},
  eprinttype  = {arXiv},
  title       = {Multimodal Autoregressive Pre-training of Large Vision Encoders},
  year        = {2024},
}