Colqwen2.5 3b Multilingual

🚀 ColQwen2.5-3b-multilingual：基于Qwen2.5-VL-3B-Instruct与ColBERT策略的多语言视觉检索器

ColQwen2.5-3b-multilingual是一个基于视觉语言模型（VLMs）的新型模型架构和训练策略的模型，旨在从文档的视觉特征中高效地对文档进行索引。它是Qwen2.5-VL-3B的扩展版本，能够生成ColBERT风格的文本和图像多向量表示。

主要信息

• 排名情况：截至2025年2月2日，在Vidore基准测试中，参数小于70亿的模型中排名第1，总体排名第3。Vidore排行榜上报告的分数对应于checkpoint - 1800。
• 训练版本：这是在4xA100 80GB上训练的基础版本，每个设备的批量大小为128，梯度累积步数为2，训练了5个epoch。

✨ 主要特性

• 多语言支持：支持英语、法语、西班牙语、意大利语和德语等多种语言。
• 动态图像分辨率：模型可以接受动态图像分辨率作为输入，而不会像ColPali那样改变其纵横比。最大分辨率设置为最多创建768个图像块。实验表明，增加图像块的数量可以显著提高性能，但会增加内存需求。
• 高效文档检索：基于ColBERT策略，能够高效地从视觉特征中索引文档。

📦 安装指南

环境要求

• 确保colpali-engine从源代码安装或版本高于0.3.1。
• transformers版本必须大于4.45.0。

ColPali安装

pip install git+https://github.com/illuin-tech/colpali

或

pip install git+https://github.com/illuin-tech/colpali@colqwen2_5

Qwen2.5安装

Qwen2.5 - VL的代码已经集成在最新的Hugging face transformers中，建议使用以下命令从源代码构建：

pip install git+https://github.com/huggingface/transformers accelerate

否则可能会遇到以下错误：

KeyError: 'qwen2_5_vl'

💻 使用示例

基础用法

import torch
from PIL import Image

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model = ColQwen2_5.from_pretrained(
        "Metric-AI/colqwen2.5-3b-multilingual",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # 若使用苹果芯片则为 "mps"
    ).eval()
processor = ColQwen2_5_Processor.from_pretrained("Metric-AI/colqwen2.5-3b-multilingual")

# 输入数据
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向传播
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

📚 详细文档

数据集

• 合成数据：从openbmb/VisRAG-Ret-Train-Synthetic-data数据集中选择并预处理。
• 领域内VQA数据集：来自openbmb/VisRAG-Ret-Train-In-domain-data。
• Docmatix数据集：从Metric-AI/rag_docmatix_100k数据集中提取。
• Colpali数据集：来自vidore/colpali_train_set。
• 多语言数据集：来自llamaindex/vdr-multilingual-train。

模型训练参数

使用低秩适配器（LoRA）在语言模型的Transformer层以及最终随机初始化的投影层上进行训练，其中alpha = 128，r = 128，并使用paged_adamw_8bit优化器。 训练环境为4xA100 GPU，采用分布式数据并行（通过accelerate），学习率为2e - 4，线性衰减，热身步骤为1%，每个设备的批量大小为128，梯度累积步数为2，使用bfloat16格式。

局限性

• 聚焦范围：模型主要聚焦于PDF类型的文档和资源丰富的语言，可能限制了其对其他文档类型或代表性不足语言的泛化能力。
• 支持情况：模型依赖于从ColBERT后期交互机制派生的多向量检索，可能需要工程努力才能适应缺乏原生多向量支持的广泛使用的向量检索框架。

📄 许可证

ColQwen2.5的视觉语言骨干模型（Qwen2.5 - VL）遵循apache2.0许可证。附加到模型的适配器遵循MIT许可证。

🔗 引用

如果在研究中使用了该组织的模型，请按以下方式引用原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

开发者信息

• 开发者：Metric AI Research Lab