Colqwen2.5 V0.1

🚀 ColQwen2.5：基于Qwen2.5-VL-3B-Instruct和ColBERT策略的视觉检索器

ColQwen是一个基于视觉语言模型（VLM）的新型模型架构和训练策略的模型，可根据文档的视觉特征对其进行高效索引。它是Qwen2.5-VL-3B的扩展，能够生成文本和图像的ColBERT风格多向量表示。该模型在论文ColPali: Efficient Document Retrieval with Vision Language Models中被提出，并首次在此仓库中发布。

✨ 主要特性

• 该模型接受动态图像分辨率作为输入，且不会像ColPali那样改变图像的纵横比进行调整。最大分辨率设置为最多创建768个图像块。实验表明，增加图像块数量可显著提升性能，但会增加内存需求。
• 此版本使用colpali-engine==0.3.7进行训练。
• 训练数据与论文中描述的ColPali数据相同。

📦 安装指南

确保从源代码安装colpali-engine，或者使用版本高于0.3.1的colpali-engine。同时，transformers版本必须大于4.45.0。

pip install git+https://github.com/illuin-tech/colpali

💻 使用示例

基础用法

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model = ColQwen2_5.from_pretrained(
        "vidore/colqwen2.5-v0.1",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # or "mps" if on Apple Silicon
        attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
    ).eval()
processor = ColQwen2_5_Processor.from_pretrained("vidore/colqwen2.5-v0.1")

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

📚 详细文档

数据集

我们的训练数据集包含127,460个查询 - 页面配对，由公开可用的学术数据集的训练集（63%）和一个合成数据集组成。合成数据集由网络爬取的PDF文档页面构成，并使用VLM生成（Claude-3 Sonnet）的伪问题进行扩充（37%）。我们的训练集设计为全英文，以便研究对非英语语言的零样本泛化能力。我们明确验证了没有多页PDF文档同时用于ViDoRe和训练集，以防止评估污染。我们使用2%的样本创建了一个验证集来调整超参数。

注意：多语言数据存在于语言模型的预训练语料库中，并且很可能存在于多模态训练中。

参数

所有模型在训练集上训练1个epoch。除非另有说明，我们以bfloat16格式训练模型，在语言模型的Transformer层以及最终随机初始化的投影层上使用低秩适配器（LoRA），其中alpha=32且r=32，并使用paged_adamw_8bit优化器。我们在8个GPU上使用数据并行进行训练，学习率为5e-5，采用线性衰减，热身步骤为2.5%，批量大小为32。

🔧 技术细节

• 聚焦范围：该模型主要聚焦于PDF类型的文档和资源丰富的语言，这可能限制其对其他文档类型或资源较少语言的泛化能力。
• 支持情况：该模型依赖于从ColBERT后期交互机制派生的多向量检索，可能需要进行工程化工作才能适应缺乏原生多向量支持的广泛使用的向量检索框架。

📄 许可证

ColQwen2.5的视觉语言主干模型（Qwen2.5-VL）遵循Qwen RESEARCH LICENSE AGREEMENT许可协议。附加到模型上的适配器遵循MIT许可协议。

📞 联系方式

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

📖 引用

如果您在研究中使用了本组织的任何数据集或模型，请按以下方式引用原始数据集：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}