Mlcd Vit Bigg Patch14 448

🚀 MLCD-ViT-bigG模型卡片

MLCD-ViT-bigG是一款先進的視覺Transformer模型，它採用了二維旋轉位置嵌入（RoPE2D）技術，在文檔理解和視覺問答任務中表現卓越。該模型由深醒科技（DeepGlint AI）研發，在處理複雜的視覺 - 語言交互方面展現出非凡的能力。

⚠️ 重要提示

LLaVA-NeXT 和 transformers 現在支持 MLCD-ViT-bigG-14-448px。

💡 使用建議

我們採用了官方的 LLaVA-NeXT 和官方訓練數據集 LLaVA-NeXT-Data 來評估基礎視覺模型。語言模型使用的是 Qwen2.5-7B。

✨ 主要特性

MLCD-ViT-bigG模型具有以下顯著特性：

• 採用2D Rotary Position Embedding (RoPE2D) 技術，提升模型性能。
• 在文檔理解和視覺問答任務中表現出色。
• 支持與 LLaVA-NeXT 和 transformers 集成。

📦 安裝指南

pip install torch transformers
git clone https://github.com/deepglint/unicom
cd unicom/mlcd

💻 使用示例

基礎用法

from vit_rope2d_hf import MLCDVisionModel
from transformers import CLIPImageProcessor
from PIL import Image
import requests
import torch

# Load model and processor
model = MLCDVisionModel.from_pretrained("DeepGlint-AI/mlcd-vit-bigG-patch14-448")
processor = CLIPImageProcessor.from_pretrained("DeepGlint-AI/mlcd-vit-bigG-patch14-448")

# Process single image
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(images=image, return_tensors="pt")

# Get visual features
with torch.no_grad():
    outputs = model(**inputs)
features = outputs.last_hidden_state

print(f"Extracted features shape: {features.shape}")

📚 詳細文檔

📄 許可證

本項目採用 MIT 許可證。

📚 引用

如果您在研究中使用了本模型，請使用以下 BibTeX 引用：

@inproceedings{anxiang_2024_mlcd,
  title={Multi-label Cluster Discrimination for Visual Representation Learning},
  author={An, Xiang and Yang, Kaicheng and Dai, Xiangzi and Feng, Ziyong and Deng, Jiankang},
  booktitle={ECCV},
  year={2024}
}