Gme Qwen2 VL 2B Instruct

🚀 GME-Qwen2-VL-2B：通用多模态嵌入模型

GME-Qwen2-VL-2B 是基于先进的 Qwen2-VL 多模态大语言模型（MLLMs）开发的统一多模态嵌入模型。该模型支持文本、图像和图像 - 文本对三种输入类型，能生成通用向量表示，具备强大的检索性能。

✨ 主要特性

• 统一的多模态表示：能够处理单模态和组合模态输入，生成统一的向量表示，支持文本检索、文本到图像检索、图像到图像检索等多种检索场景（Any2Any 搜索）。
• 高性能：在通用多模态检索基准测试（UMRB）中达到了当前最优（SOTA）结果，在多模态文本评估基准（MTEB）中也表现出色。
• 动态图像分辨率：得益于 Qwen2-VL 和训练数据，支持动态分辨率的图像输入。
• 强大的视觉检索性能：在视觉文档检索任务中表现卓越，尤其适用于需要深入理解文档截图的复杂文档理解场景，如专注于学术论文的多模态检索增强生成（RAG）应用。

📦 安装指南

使用自定义代码调用模型时，可参考以下步骤：

# 可从 https://huggingface.co/Alibaba-NLP/gme-Qwen2-VL-2B-Instruct/blob/main/gme_inference.py 找到 gme_inference.py 脚本
from gme_inference import GmeQwen2VL

texts = [
    "What kind of car is this?",
    "The Tesla Cybertruck is a battery electric pickup truck built by Tesla, Inc. since 2023."
]
images = [
    'https://en.wikipedia.org/wiki/File:Tesla_Cybertruck_damaged_window.jpg',
    'https://en.wikipedia.org/wiki/File:2024_Tesla_Cybertruck_Foundation_Series,_front_left_(Greenwich).jpg',
]

gme = GmeQwen2VL("Alibaba-NLP/gme-Qwen2-VL-2B-Instruct")

# 单模态嵌入
e_text = gme.get_text_embeddings(texts=texts)
e_image = gme.get_image_embeddings(images=images)
print((e_text * e_image).sum(-1))
## tensor([0.2281, 0.6001], dtype=torch.float16)

# 如何设置嵌入指令
e_query = gme.get_text_embeddings(texts=texts, instruction='Find an image that matches the given text.')
# 如果 is_query=False，我们始终使用默认指令。
e_corpus = gme.get_image_embeddings(images=images, is_query=False)
print((e_query * e_corpus).sum(-1))
## tensor([0.2433, 0.7051], dtype=torch.float16)

# 融合模态嵌入
e_fused = gme.get_fused_embeddings(texts=texts, images=images)
print((e_fused[0] * e_fused[1]).sum())
## tensor(0.6108, dtype=torch.float16)

💻 使用示例

基础用法

# 可从 https://huggingface.co/Alibaba-NLP/gme-Qwen2-VL-2B-Instruct/blob/main/gme_inference.py 找到 gme_inference.py 脚本
from gme_inference import GmeQwen2VL

texts = [
    "What kind of car is this?",
    "The Tesla Cybertruck is a battery electric pickup truck built by Tesla, Inc. since 2023."
]
images = [
    'https://en.wikipedia.org/wiki/File:Tesla_Cybertruck_damaged_window.jpg',
    'https://en.wikipedia.org/wiki/File:2024_Tesla_Cybertruck_Foundation_Series,_front_left_(Greenwich).jpg',
]

gme = GmeQwen2VL("Alibaba-NLP/gme-Qwen2-VL-2B-Instruct")

# 单模态嵌入
e_text = gme.get_text_embeddings(texts=texts)
e_image = gme.get_image_embeddings(images=images)
print((e_text * e_image).sum(-1))
## tensor([0.2281, 0.6001], dtype=torch.float16)

高级用法

# 设置嵌入指令
e_query = gme.get_text_embeddings(texts=texts, instruction='Find an image that matches the given text.')
# 如果 is_query=False，我们始终使用默认指令。
e_corpus = gme.get_image_embeddings(images=images, is_query=False)
print((e_query * e_corpus).sum(-1))
## tensor([0.2433, 0.7051], dtype=torch.float16)

# 融合模态嵌入
e_fused = gme.get_fused_embeddings(texts=texts, images=images)
print((e_fused[0] * e_fused[1]).sum())
## tensor(0.6108, dtype=torch.float16)

📚 详细文档

模型列表

评估结果

我们在通用多模态检索基准测试（UMRB）等测试中验证了模型的性能。

🔧 技术细节

微调方法

GME 模型可以使用 SWIFT 进行微调：

pip install ms-swift -U

# MAX_PIXELS 设置以减少内存使用
# 查看: https://swift.readthedocs.io/en/latest/BestPractices/Embedding.html
nproc_per_node=8
MAX_PIXELS=1003520 \
USE_HF=1 \
NPROC_PER_NODE=$nproc_per_node \
swift sft \
    --model Alibaba-NLP/gme-Qwen2-VL-2B-Instruct \
    --train_type lora \
    --dataset 'HuggingFaceM4/TextCaps:emb' \
    --torch_dtype bfloat16 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 2 \
    --per_device_eval_batch_size 2 \
    --gradient_accumulation_steps $(expr 64 / $nproc_per_node) \
    --eval_steps 100 \
    --save_steps 100 \
    --eval_strategy steps \
    --save_total_limit 5 \
    --logging_steps 5 \
    --output_dir output \
    --lazy_tokenize true \
    --warmup_ratio 0.05 \
    --learning_rate 5e-6 \
    --deepspeed zero3 \
    --dataloader_num_workers 4 \
    --task_type embedding \
    --loss_type infonce \
    --dataloader_drop_last true

📄 许可证

本项目采用 Apache 2.0 许可证。

🔖 引用

如果您觉得我们的论文或模型有帮助，请考虑引用：

@misc{zhang2024gme,
      title={GME: Improving Universal Multimodal Retrieval by Multimodal LLMs}, 
      author={Zhang, Xin and Zhang, Yanzhao and Xie, Wen and Li, Mingxin and Dai, Ziqi and Long, Dingkun and Xie, Pengjun and Zhang, Meishan and Li, Wenjie and Zhang, Min},
      year={2024},
      eprint={2412.16855},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={http://arxiv.org/abs/2412.16855}, 
}

⚠️ 重要提示

• 单图像输入：在 Qwen2-VL 中，一张图像可能会转换为大量的视觉标记。为了获得良好的训练效率，我们将视觉标记的数量限制为 1024。由于缺乏相关数据，我们的模型和评估仅保留单张图像。
• 仅英文训练：我们的模型仅在英文数据上进行训练。尽管 Qwen2-VL 模型支持多语言，但多语言 - 多模态嵌入性能无法保证。

我们将在未来版本中扩展到多图像输入、图像 - 文本交错数据以及多语言数据。

💡 使用建议

• 在使用模型进行推理时，可以根据具体任务设置合适的嵌入指令，以获得更好的检索效果。
• 进行微调时，可根据实际情况调整 MAX_PIXELS 等参数，以优化内存使用。