Aimv2 Large Patch14 Native

🚀 トランスフォーマー

このライブラリは、画像特徴抽出に特化したビジョンモデルを提供します。多モーダル自己回帰目的で事前学習されたAIMv2ファミリーのモデルを使用し、多くのベンチマークで優れた性能を発揮します。

🚀 クイックスタート

[AIMv2論文] [BibTeX]

我々は、多モーダル自己回帰目的で事前学習されたAIMv2ファミリーのビジョンモデルを紹介します。AIMv2の事前学習は簡単で、効果的にトレーニングとスケーリングが可能です。AIMv2の主な特長は以下の通りです：

1. 大多数の多モーダル理解ベンチマークで、OAI CLIPやSigLIPを上回ります。
2. オープンボキャブラリ物体検出と参照表現理解において、DINOv2を上回ります。
3. AIMv2 - 3Bは、凍結されたトランクを使用してImageNetで*89.5%*の認識性能を示します。

✨ 主な機能

• 画像特徴抽出：画像から有用な特徴を抽出することができます。
• 多モーダル理解：多モーダルデータを用いた事前学習により、高度な理解能力を備えています。
• 高性能：多くのベンチマークで優れた性能を発揮します。

💻 使用例

基本的な使用法

PyTorch

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-large-patch14-native",
)
model = AutoModel.from_pretrained(
    "apple/aimv2-large-patch14-native",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

JAX

import requests
from PIL import Image
from transformers import AutoImageProcessor, FlaxAutoModel

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "apple/aimv2-large-patch14-native",
)
model = FlaxAutoModel.from_pretrained(
    "apple/aimv2-large-patch14-native",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="jax")
outputs = model(**inputs)

📄 ライセンス

このプロジェクトは、apple - amlrライセンスの下でライセンスされています。

📚 引用

もしあなたが我々の研究を有用だと感じた場合は、以下のように引用してください：

@misc{fini2024multimodalautoregressivepretraininglarge,
  author      = {Fini, Enrico and Shukor, Mustafa and Li, Xiujun and Dufter, Philipp and Klein, Michal and Haldimann, David and Aitharaju, Sai and da Costa, Victor Guilherme Turrisi and Béthune, Louis and Gan, Zhe and Toshev, Alexander T and Eichner, Marcin and Nabi, Moin and Yang, Yinfei and Susskind, Joshua M. and El-Nouby, Alaaeldin},
  url         = {https://arxiv.org/abs/2411.14402},
  eprint      = {2411.14402},
  eprintclass = {cs.CV},
  eprinttype  = {arXiv},
  title       = {Multimodal Autoregressive Pre-training of Large Vision Encoders},
  year        = {2024},
}