Aimv2 Large Patch14 Native Image Classification

🚀 AIMv2-Large-Patch14-Native 画像分類

このリポジトリには、元のAIMv2モデルをHugging Face TransformersのAutoModelForImageClassificationクラスと互換性を持つように改変したバージョンが含まれています。この改変により、画像分類タスクでこのモデルをシームレスに使用することが可能になります。

このモデルは学習/微調整されていません

元のAIMv2論文 | BibTeX

🚀 クイックスタート

私たちは、元のapple/aimv2-large-patch14-nativeモデルをAutoModelForImageClassificationと互換性を持つように適応させました。AIMv2ファミリーは、マルチモーダル自己回帰目的で事前学習されたビジョンモデルで構成されており、さまざまなベンチマークで堅牢なパフォーマンスを発揮します。

AIMv2モデルのいくつかのハイライトは以下の通りです：

1. 大多数のマルチモーダル理解ベンチマークで、OAI CLIPおよびSigLIPを上回っています。
2. オープンボキャブラリ物体検出と参照表現理解において、DINOv2を上回っています。
3. 強力な認識性能を示し、AIMv2 - 3Bは**凍結されたトランクを使用してImageNetで89.5%**を達成しています。

✨ 主な機能

• 元のAIMv2モデルをAutoModelForImageClassificationと互換性を持つように改変。
• 画像分類タスクでのシームレスな使用を可能に。
• マルチモーダル理解ベンチマークや物体検出などで優れた性能を発揮。

💻 使用例

基本的な使用法

import requests
from PIL import Image
from transformers import AutoImageProcessor, AutoModelForImageClassification

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained(
    "amaye15/aimv2-large-patch14-native-image-classification",
)
model = AutoModelForImageClassification.from_pretrained(
    "amaye15/aimv2-large-patch14-native-image-classification",
    trust_remote_code=True,
)

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)

# Get predicted class
predictions = outputs.logits.softmax(dim=-1)
predicted_class = predictions.argmax(-1).item()

print(f"Predicted class: {model.config.id2label[predicted_class]}")

📚 ドキュメント

モデル詳細

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

📚 引用

このモデルを使用した場合、または役に立ったと感じた場合は、元のAIMv2論文を引用することを検討してください。

@article{yang2023aimv2,
  title={AIMv2: Advances in Multimodal Vision Models},
  author={Yang, Li and others},
  journal={arXiv preprint arXiv:2411.14402},
  year={2023}
}