Mlcd Vit Bigg Patch14 448

🚀 MLCD-ViT-bigG模型卡片

MLCD-ViT-bigG是一款先进的视觉Transformer模型，它采用了二维旋转位置嵌入（RoPE2D）技术，在文档理解和视觉问答任务中表现卓越。该模型由深醒科技（DeepGlint AI）研发，在处理复杂的视觉 - 语言交互方面展现出非凡的能力。

⚠️ 重要提示

LLaVA-NeXT 和 transformers 现在支持 MLCD-ViT-bigG-14-448px。

💡 使用建议

我们采用了官方的 LLaVA-NeXT 和官方训练数据集 LLaVA-NeXT-Data 来评估基础视觉模型。语言模型使用的是 Qwen2.5-7B。

✨ 主要特性

MLCD-ViT-bigG模型具有以下显著特性：

• 采用2D Rotary Position Embedding (RoPE2D) 技术，提升模型性能。
• 在文档理解和视觉问答任务中表现出色。
• 支持与 LLaVA-NeXT 和 transformers 集成。

📦 安装指南

pip install torch transformers
git clone https://github.com/deepglint/unicom
cd unicom/mlcd

💻 使用示例

基础用法

from vit_rope2d_hf import MLCDVisionModel
from transformers import CLIPImageProcessor
from PIL import Image
import requests
import torch

# Load model and processor
model = MLCDVisionModel.from_pretrained("DeepGlint-AI/mlcd-vit-bigG-patch14-448")
processor = CLIPImageProcessor.from_pretrained("DeepGlint-AI/mlcd-vit-bigG-patch14-448")

# Process single image
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(images=image, return_tensors="pt")

# Get visual features
with torch.no_grad():
    outputs = model(**inputs)
features = outputs.last_hidden_state

print(f"Extracted features shape: {features.shape}")

📚 详细文档

📄 许可证

本项目采用 MIT 许可证。

📚 引用

如果您在研究中使用了本模型，请使用以下 BibTeX 引用：

@inproceedings{anxiang_2024_mlcd,
  title={Multi-label Cluster Discrimination for Visual Representation Learning},
  author={An, Xiang and Yang, Kaicheng and Dai, Xiangzi and Feng, Ziyong and Deng, Jiankang},
  booktitle={ECCV},
  year={2024}
}