Aimv2 Large Patch14 448

🚀 トランスフォーマー

このライブラリは、画像特徴抽出に特化したビジョンモデルを提供します。マルチモーダル自己回帰目的で事前学習されたAIMv2ファミリーのモデルを利用し、多くのベンチマークで優れた性能を発揮します。

🚀 クイックスタート

このセクションでは、ライブラリの概要と使用方法を紹介します。

ライブラリ情報

モデル情報

• モデル名: aimv2-large-patch14-448

モデルの性能

✨ 主な機能

• マルチモーダル理解ベンチマークの多くで、OAI CLIPやSigLIPを上回る性能を発揮します。
• オープンボキャブラリ物体検出と参照表現理解で、DINOv2を上回る性能を示します。
• AIMv2-3Bは、凍結されたトランクを使用してImageNetで89.5%の認識精度を達成します。

💻 使用例

基本的な使用法

PyTorch

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-large-patch14-448",
)
model = AutoModel.from_pretrained(
    "apple/aimv2-large-patch14-448",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

JAX

import requests
from PIL import Image
from transformers import AutoImageProcessor, FlaxAutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-large-patch14-448",
)
model = FlaxAutoModel.from_pretrained(
    "apple/aimv2-large-patch14-448",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="jax")
outputs = model(**inputs)

📄 ライセンス

このライブラリは、apple-amlrライセンスの下で提供されています。

📚 ドキュメント

• [AIMv2 Paper]
• 以下のBibTeX形式で引用してください。

@misc{fini2024multimodalautoregressivepretraininglarge,
  author      = {Fini, Enrico and Shukor, Mustafa and Li, Xiujun and Dufter, Philipp and Klein, Michal and Haldimann, David and Aitharaju, Sai and da Costa, Victor Guilherme Turrisi and Béthune, Louis and Gan, Zhe and Toshev, Alexander T and Eichner, Marcin and Nabi, Moin and Yang, Yinfei and Susskind, Joshua M. and El-Nouby, Alaaeldin},
  url         = {https://arxiv.org/abs/2411.14402},
  eprint      = {2411.14402},
  eprintclass = {cs.CV},
  eprinttype  = {arXiv},
  title       = {Multimodal Autoregressive Pre-training of Large Vision Encoders},
  year        = {2024},
}