Colqwen2.5 3b Multilingual V1.0

🚀 ColQwen2.5-3b-multilingual-v1.0：基於Qwen2.5-VL-3B-Instruct和ColBERT策略的多語言視覺檢索器

ColQwen是基於視覺語言模型（VLMs）的新型模型架構和訓練策略，可根據文檔的視覺特徵對其進行高效索引。它是Qwen2.5-VL-3B的擴展，能夠生成ColBERT風格的文本和圖像多向量表示。該模型在論文ColPali: Efficient Document Retrieval with Vision Language Models中被提出，並首次在此倉庫發佈。

在Vidore基準測試中，參數小於7B的模型裡排名第1，總體排名第2（截至2025年2月11日）。報告分數見Vidore排行榜。

這是基礎版本，在4xA100 80GB上訓練，每個設備的批次大小為128，梯度累積步數為2，訓練5個週期。

🚀 快速開始

ColQwen模型基於視覺語言模型的新型架構和訓練策略，可高效索引文檔的視覺特徵。它是Qwen2.5-VL-3B的擴展，能生成ColBERT風格的多向量表示。

✨ 主要特性

• 排名領先：在Vidore基準測試中，參數小於7B的模型裡排名第1，總體排名第2。
• 多語言支持：支持英語、法語、西班牙語、意大利語和德語等多種語言。
• 高效索引：基於新型架構和訓練策略，能從視覺特徵中高效索引文檔。

📦 安裝指南

確保colpali-engine從源代碼安裝或版本高於0.3.1，transformers版本大於4.45.0。

ColPali

pip install git+https://github.com/illuin-tech/colpali

或者

pip install git+https://github.com/illuin-tech/colpali@colqwen2_5

Qwen2.5

Qwen2.5-VL的代碼已包含在最新的Hugging face transformers中，建議使用以下命令從源代碼構建：

pip install git+https://github.com/huggingface/transformers accelerate

否則可能會遇到以下錯誤：

KeyError: 'qwen2_5_vl'

💻 使用示例

基礎用法

import torch
from PIL import Image

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model = ColQwen2_5.from_pretrained(
        "Metric-AI/ColQwen2.5-3b-multilingual-v1.0",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # or "mps" if on Apple Silicon
    ).eval()
processor = ColQwen2_5_Processor.from_pretrained("Metric-AI/ColQwen2.5-3b-multilingual-v1.0")

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

📚 詳細文檔

版本特性

此模型接受動態圖像分辨率輸入，不調整圖像大小，不會像ColPali那樣改變圖像的寬高比。最大分辨率設置為最多創建768個圖像塊。實驗表明，增加圖像塊數量可顯著提升性能，但會增加內存需求。此版本使用colpali-engine==0.3.7進行訓練。

訓練數據

• 合成數據：從openbmb/VisRAG-Ret-Train-Synthetic-data數據集中選擇並預處理。
• 領域內VQA數據集：來自openbmb/VisRAG-Ret-Train-In-domain-data。
• Docmatix數據集：從Metric-AI/rag_docmatix_100k數據集中提取。
• Colpali數據集：來自vidore/colpali_train_set。
• 多語言數據集：來自llamaindex/vdr-multilingual-train。

模型訓練

使用低秩適配器（LoRA）對語言模型的Transformer層以及最終隨機初始化的投影層進行訓練，其中alpha=128，r=128，並使用paged_adamw_8bit優化器。在4xA100 GPU上進行分佈式數據並行訓練（通過accelerate），學習率為2e-4，採用線性衰減，熱身步數為1%，每個設備的批次大小為128，梯度累積步數為2，使用bfloat16格式。

侷限性

• 專注領域：模型主要關注PDF類型文檔和資源豐富的語言，可能限制其在其他文檔類型或資源較少語言上的泛化能力。
• 支持情況：模型依賴於從ColBERT後期交互機制派生的多向量檢索，可能需要工程努力才能適應缺乏原生多向量支持的廣泛使用的向量檢索框架。

🔧 技術細節

此模型基於Vision Language Models（VLMs）的新型模型架構和訓練策略，能夠從文檔的視覺特徵中高效地進行索引。它是Qwen2.5-VL-3B的擴展，生成ColBERT風格的文本和圖像多向量表示。

📄 許可證

ColQwen2.5的視覺語言骨幹模型（Qwen2.5-VL）遵循apache2.0許可證，附加到模型的適配器遵循MIT許可證。

引用

如果在研究中使用了該組織的模型，請按以下方式引用原始論文：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

• 開發者：Metric AI Research Lab