Mlcd Vit Bigg Patch14 448

🚀 MLCD-ViT-bigGモデルカード

MLCD-ViT-bigGは、2D Rotary Position Embedding (RoPE2D) を搭載した最先端のビジョントランスフォーマーモデルです。文書理解や視覚的質問応答タスクで卓越した性能を発揮します。このモデルはDeepGlint AIによって開発され、複雑な視覚言語の相互作用を処理する際にも高い能力を示します。

💡 使用ヒント

LLaVA-NeXT と transformers は現在、MLCD-ViT-bigG-14-448pxをサポートしています。

基礎的なビジュアルモデルの評価には、公式の LLaVA-NeXT と公式の学習データセット LLaVA-NeXT-Data を採用しています。言語モデルにはQwen2.5-7Bを使用しています。

📦 インストール

pip install torch transformers
git clone https://github.com/deepglint/unicom
cd unicom/mlcd

💻 使用例

基本的な使用法

from vit_rope2d_hf import MLCDVisionModel
from transformers import CLIPImageProcessor
from PIL import Image
import requests
import torch

# Load model and processor
model = MLCDVisionModel.from_pretrained("DeepGlint-AI/mlcd-vit-bigG-patch14-448")
processor = CLIPImageProcessor.from_pretrained("DeepGlint-AI/mlcd-vit-bigG-patch14-448")

# Process single image
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(images=image, return_tensors="pt")

# Get visual features
with torch.no_grad():
    outputs = model(**inputs)
features = outputs.last_hidden_state

print(f"Extracted features shape: {features.shape}")

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

📚 引用

@inproceedings{anxiang_2024_mlcd,
  title={Multi-label Cluster Discrimination for Visual Representation Learning},
  author={An, Xiang and Yang, Kaicheng and Dai, Xiangzi and Feng, Ziyong and Deng, Jiankang},
  booktitle={ECCV},
  year={2024}
}