Gme Qwen2 VL 2B Instruct

🚀 GME-Qwen2-VL-2B：通用多模態嵌入模型

GME-Qwen2-VL-2B 是基於先進的 Qwen2-VL 多模態大語言模型（MLLMs）開發的統一多模態嵌入模型。該模型支持文本、圖像和圖像 - 文本對三種輸入類型，能生成通用向量表示，具備強大的檢索性能。

✨ 主要特性

• 統一的多模態表示：能夠處理單模態和組合模態輸入，生成統一的向量表示，支持文本檢索、文本到圖像檢索、圖像到圖像檢索等多種檢索場景（Any2Any 搜索）。
• 高性能：在通用多模態檢索基準測試（UMRB）中達到了當前最優（SOTA）結果，在多模態文本評估基準（MTEB）中也表現出色。
• 動態圖像分辨率：得益於 Qwen2-VL 和訓練數據，支持動態分辨率的圖像輸入。
• 強大的視覺檢索性能：在視覺文檔檢索任務中表現卓越，尤其適用於需要深入理解文檔截圖的複雜文檔理解場景，如專注於學術論文的多模態檢索增強生成（RAG）應用。

📦 安裝指南

使用自定義代碼調用模型時，可參考以下步驟：

# 可從 https://huggingface.co/Alibaba-NLP/gme-Qwen2-VL-2B-Instruct/blob/main/gme_inference.py 找到 gme_inference.py 腳本
from gme_inference import GmeQwen2VL

texts = [
    "What kind of car is this?",
    "The Tesla Cybertruck is a battery electric pickup truck built by Tesla, Inc. since 2023."
]
images = [
    'https://en.wikipedia.org/wiki/File:Tesla_Cybertruck_damaged_window.jpg',
    'https://en.wikipedia.org/wiki/File:2024_Tesla_Cybertruck_Foundation_Series,_front_left_(Greenwich).jpg',
]

gme = GmeQwen2VL("Alibaba-NLP/gme-Qwen2-VL-2B-Instruct")

# 單模態嵌入
e_text = gme.get_text_embeddings(texts=texts)
e_image = gme.get_image_embeddings(images=images)
print((e_text * e_image).sum(-1))
## tensor([0.2281, 0.6001], dtype=torch.float16)

# 如何設置嵌入指令
e_query = gme.get_text_embeddings(texts=texts, instruction='Find an image that matches the given text.')
# 如果 is_query=False，我們始終使用默認指令。
e_corpus = gme.get_image_embeddings(images=images, is_query=False)
print((e_query * e_corpus).sum(-1))
## tensor([0.2433, 0.7051], dtype=torch.float16)

# 融合模態嵌入
e_fused = gme.get_fused_embeddings(texts=texts, images=images)
print((e_fused[0] * e_fused[1]).sum())
## tensor(0.6108, dtype=torch.float16)

💻 使用示例

基礎用法

# 可從 https://huggingface.co/Alibaba-NLP/gme-Qwen2-VL-2B-Instruct/blob/main/gme_inference.py 找到 gme_inference.py 腳本
from gme_inference import GmeQwen2VL

texts = [
    "What kind of car is this?",
    "The Tesla Cybertruck is a battery electric pickup truck built by Tesla, Inc. since 2023."
]
images = [
    'https://en.wikipedia.org/wiki/File:Tesla_Cybertruck_damaged_window.jpg',
    'https://en.wikipedia.org/wiki/File:2024_Tesla_Cybertruck_Foundation_Series,_front_left_(Greenwich).jpg',
]

gme = GmeQwen2VL("Alibaba-NLP/gme-Qwen2-VL-2B-Instruct")

# 單模態嵌入
e_text = gme.get_text_embeddings(texts=texts)
e_image = gme.get_image_embeddings(images=images)
print((e_text * e_image).sum(-1))
## tensor([0.2281, 0.6001], dtype=torch.float16)

高級用法

# 設置嵌入指令
e_query = gme.get_text_embeddings(texts=texts, instruction='Find an image that matches the given text.')
# 如果 is_query=False，我們始終使用默認指令。
e_corpus = gme.get_image_embeddings(images=images, is_query=False)
print((e_query * e_corpus).sum(-1))
## tensor([0.2433, 0.7051], dtype=torch.float16)

# 融合模態嵌入
e_fused = gme.get_fused_embeddings(texts=texts, images=images)
print((e_fused[0] * e_fused[1]).sum())
## tensor(0.6108, dtype=torch.float16)

📚 詳細文檔

模型列表

評估結果

我們在通用多模態檢索基準測試（UMRB）等測試中驗證了模型的性能。

🔧 技術細節

微調方法

GME 模型可以使用 SWIFT 進行微調：

pip install ms-swift -U

# MAX_PIXELS 設置以減少內存使用
# 查看: https://swift.readthedocs.io/en/latest/BestPractices/Embedding.html
nproc_per_node=8
MAX_PIXELS=1003520 \
USE_HF=1 \
NPROC_PER_NODE=$nproc_per_node \
swift sft \
    --model Alibaba-NLP/gme-Qwen2-VL-2B-Instruct \
    --train_type lora \
    --dataset 'HuggingFaceM4/TextCaps:emb' \
    --torch_dtype bfloat16 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 2 \
    --per_device_eval_batch_size 2 \
    --gradient_accumulation_steps $(expr 64 / $nproc_per_node) \
    --eval_steps 100 \
    --save_steps 100 \
    --eval_strategy steps \
    --save_total_limit 5 \
    --logging_steps 5 \
    --output_dir output \
    --lazy_tokenize true \
    --warmup_ratio 0.05 \
    --learning_rate 5e-6 \
    --deepspeed zero3 \
    --dataloader_num_workers 4 \
    --task_type embedding \
    --loss_type infonce \
    --dataloader_drop_last true

📄 許可證

本項目採用 Apache 2.0 許可證。

🔖 引用

如果您覺得我們的論文或模型有幫助，請考慮引用：

@misc{zhang2024gme,
      title={GME: Improving Universal Multimodal Retrieval by Multimodal LLMs}, 
      author={Zhang, Xin and Zhang, Yanzhao and Xie, Wen and Li, Mingxin and Dai, Ziqi and Long, Dingkun and Xie, Pengjun and Zhang, Meishan and Li, Wenjie and Zhang, Min},
      year={2024},
      eprint={2412.16855},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={http://arxiv.org/abs/2412.16855}, 
}

⚠️ 重要提示

• 單圖像輸入：在 Qwen2-VL 中，一張圖像可能會轉換為大量的視覺標記。為了獲得良好的訓練效率，我們將視覺標記的數量限制為 1024。由於缺乏相關數據，我們的模型和評估僅保留單張圖像。
• 僅英文訓練：我們的模型僅在英文數據上進行訓練。儘管 Qwen2-VL 模型支持多語言，但多語言 - 多模態嵌入性能無法保證。

我們將在未來版本中擴展到多圖像輸入、圖像 - 文本交錯數據以及多語言數據。

💡 使用建議

• 在使用模型進行推理時，可以根據具體任務設置合適的嵌入指令，以獲得更好的檢索效果。
• 進行微調時，可根據實際情況調整 MAX_PIXELS 等參數，以優化內存使用。