Aimv2 Large Patch14 448

🚀 圖像特徵提取模型transformers

本項目引入了基於多模態自迴歸目標進行預訓練的AIMv2系列視覺模型。該模型訓練和擴展簡單直接，在多個多模態理解基準測試中表現出色，具有強大的識別性能。

🚀 快速開始

項目信息

模型評估結果

模型 aimv2-large-patch14-448 在多個數據集上的分類任務中表現如下：

✨ 主要特性

• 在大多數多模態理解基準測試中，性能優於OAI CLIP和SigLIP。
• 在開放詞彙目標檢測和指代表達理解任務中，性能優於DINOv2。
• 具有強大的識別性能，AIMv2 - 3B在使用凍結主幹的情況下，在ImageNet上達到了89.5%的準確率。

💻 使用示例

基礎用法

PyTorch

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-large-patch14-448",
)
model = AutoModel.from_pretrained(
    "apple/aimv2-large-patch14-448",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

JAX

import requests
from PIL import Image
from transformers import AutoImageProcessor, FlaxAutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-large-patch14-448",
)
model = FlaxAutoModel.from_pretrained(
    "apple/aimv2-large-patch14-448",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="jax")
outputs = model(**inputs)

📄 許可證

本項目使用 apple-amlr 許可證。

📚 詳細文檔

• 論文鏈接：[AIMv2 Paper]
• 引用信息：

@misc{fini2024multimodalautoregressivepretraininglarge,
  author      = {Fini, Enrico and Shukor, Mustafa and Li, Xiujun and Dufter, Philipp and Klein, Michal and Haldimann, David and Aitharaju, Sai and da Costa, Victor Guilherme Turrisi and Béthune, Louis and Gan, Zhe and Toshev, Alexander T and Eichner, Marcin and Nabi, Moin and Yang, Yinfei and Susskind, Joshua M. and El-Nouby, Alaaeldin},
  url         = {https://arxiv.org/abs/2411.14402},
  eprint      = {2411.14402},
  eprintclass = {cs.CV},
  eprinttype  = {arXiv},
  title       = {Multimodal Autoregressive Pre-training of Large Vision Encoders},
  year        = {2024},
}