Colqwen2.5 3b Multilingual V1.0

🚀 ColQwen2.5-3b-multilingual-v1.0：基于Qwen2.5-VL-3B-Instruct和ColBERT策略的多语言视觉检索器

ColQwen是基于视觉语言模型（VLMs）的新型模型架构和训练策略，可根据文档的视觉特征对其进行高效索引。它是Qwen2.5-VL-3B的扩展，能够生成ColBERT风格的文本和图像多向量表示。该模型在论文ColPali: Efficient Document Retrieval with Vision Language Models中被提出，并首次在此仓库发布。

在Vidore基准测试中，参数小于7B的模型里排名第1，总体排名第2（截至2025年2月11日）。报告分数见Vidore排行榜。

这是基础版本，在4xA100 80GB上训练，每个设备的批次大小为128，梯度累积步数为2，训练5个周期。

🚀 快速开始

ColQwen模型基于视觉语言模型的新型架构和训练策略，可高效索引文档的视觉特征。它是Qwen2.5-VL-3B的扩展，能生成ColBERT风格的多向量表示。

✨ 主要特性

• 排名领先：在Vidore基准测试中，参数小于7B的模型里排名第1，总体排名第2。
• 多语言支持：支持英语、法语、西班牙语、意大利语和德语等多种语言。
• 高效索引：基于新型架构和训练策略，能从视觉特征中高效索引文档。

📦 安装指南

确保colpali-engine从源代码安装或版本高于0.3.1，transformers版本大于4.45.0。

ColPali

pip install git+https://github.com/illuin-tech/colpali

或者

pip install git+https://github.com/illuin-tech/colpali@colqwen2_5

Qwen2.5

Qwen2.5-VL的代码已包含在最新的Hugging face transformers中，建议使用以下命令从源代码构建：

pip install git+https://github.com/huggingface/transformers accelerate

否则可能会遇到以下错误：

KeyError: 'qwen2_5_vl'

💻 使用示例

基础用法

import torch
from PIL import Image

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model = ColQwen2_5.from_pretrained(
        "Metric-AI/ColQwen2.5-3b-multilingual-v1.0",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # or "mps" if on Apple Silicon
    ).eval()
processor = ColQwen2_5_Processor.from_pretrained("Metric-AI/ColQwen2.5-3b-multilingual-v1.0")

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

📚 详细文档

版本特性

此模型接受动态图像分辨率输入，不调整图像大小，不会像ColPali那样改变图像的宽高比。最大分辨率设置为最多创建768个图像块。实验表明，增加图像块数量可显著提升性能，但会增加内存需求。此版本使用colpali-engine==0.3.7进行训练。

训练数据

• 合成数据：从openbmb/VisRAG-Ret-Train-Synthetic-data数据集中选择并预处理。
• 领域内VQA数据集：来自openbmb/VisRAG-Ret-Train-In-domain-data。
• Docmatix数据集：从Metric-AI/rag_docmatix_100k数据集中提取。
• Colpali数据集：来自vidore/colpali_train_set。
• 多语言数据集：来自llamaindex/vdr-multilingual-train。

模型训练

使用低秩适配器（LoRA）对语言模型的Transformer层以及最终随机初始化的投影层进行训练，其中alpha=128，r=128，并使用paged_adamw_8bit优化器。在4xA100 GPU上进行分布式数据并行训练（通过accelerate），学习率为2e-4，采用线性衰减，热身步数为1%，每个设备的批次大小为128，梯度累积步数为2，使用bfloat16格式。

局限性

• 专注领域：模型主要关注PDF类型文档和资源丰富的语言，可能限制其在其他文档类型或资源较少语言上的泛化能力。
• 支持情况：模型依赖于从ColBERT后期交互机制派生的多向量检索，可能需要工程努力才能适应缺乏原生多向量支持的广泛使用的向量检索框架。

🔧 技术细节

此模型基于Vision Language Models（VLMs）的新型模型架构和训练策略，能够从文档的视觉特征中高效地进行索引。它是Qwen2.5-VL-3B的扩展，生成ColBERT风格的文本和图像多向量表示。

📄 许可证

ColQwen2.5的视觉语言骨干模型（Qwen2.5-VL）遵循apache2.0许可证，附加到模型的适配器遵循MIT许可证。

引用

如果在研究中使用了该组织的模型，请按以下方式引用原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

• 开发者：Metric AI Research Lab