Aimv2 3B Patch14 448

🚀 圖像特徵提取模型AIMv2

AIMv2是一系列基於多模態自迴歸目標進行預訓練的視覺模型，訓練和擴展簡單直接且高效。在多數多模態理解基準測試中表現出色，在開放詞彙對象檢測和指代表達理解等任務中也有優秀表現。

🚀 快速開始

模型信息

模型性能

模型亮點

1. 在多數多模態理解基準測試中，性能優於OAI CLIP和SigLIP。
2. 在開放詞彙對象檢測和指代表達理解任務中，表現優於DINOv2。
3. AIMv2 - 3B在使用凍結主幹的情況下，在ImageNet上達到了89.5%的準確率。

模型概述圖

💻 使用示例

基礎用法 - PyTorch

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-3B-patch14-448",
)
model = AutoModel.from_pretrained(
    "apple/aimv2-3B-patch14-448",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

基礎用法 - JAX

import requests
from PIL import Image
from transformers import AutoImageProcessor, FlaxAutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-3B-patch14-448",
)
model = FlaxAutoModel.from_pretrained(
    "apple/aimv2-3B-patch14-448",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="jax")
outputs = model(**inputs)

📄 許可證

本項目使用的許可證為apple-amlr。

📚 詳細文檔

論文引用

[AIMv2 Paper] [BibTeX]

如果您覺得我們的工作有用，請考慮引用我們的論文：

@misc{fini2024multimodalautoregressivepretraininglarge,
  author      = {Fini, Enrico and Shukor, Mustafa and Li, Xiujun and Dufter, Philipp and Klein, Michal and Haldimann, David and Aitharaju, Sai and da Costa, Victor Guilherme Turrisi and Béthune, Louis and Gan, Zhe and Toshev, Alexander T and Eichner, Marcin and Nabi, Moin and Yang, Yinfei and Susskind, Joshua M. and El-Nouby, Alaaeldin},
  url         = {https://arxiv.org/abs/2411.14402},
  eprint      = {2411.14402},
  eprintclass = {cs.CV},
  eprinttype  = {arXiv},
  title       = {Multimodal Autoregressive Pre-training of Large Vision Encoders},
  year        = {2024},
}