Colqwen2.5 3b Multilingual V1.0

🚀 ColQwen2.5-3b-multilingual-v1.0：基于Qwen2.5-VL-3B-Instruct和ColBERT策略的多语言视觉检索器

ColQwen是一个基于视觉语言模型（VLMs）的新型模型架构和训练策略，可根据文档的视觉特征对其进行高效索引。它是Qwen2.5-VL-3B的扩展，能够生成ColBERT风格的文本和图像多向量表示。该模型在论文ColPali: Efficient Document Retrieval with Vision Language Models中被提出，并首次在此仓库中发布。

这是在8xH100 80GB上训练的基础版本，每个设备的批量大小为128，训练了8个epoch。

✨ 主要特性

版本特性

此模型接受动态图像分辨率作为输入，不会像ColPali那样调整图像大小或改变其纵横比。最大分辨率设置为最多创建768个图像块。实验表明，增加图像块数量可以显著提升性能，但会增加内存需求。

此版本使用colpali-engine==0.3.9进行训练。

支持语言

• 英语（en）
• 法语（fr）
• 西班牙语（es）
• 意大利语（it）
• 德语（de）

训练数据集

• openbmb/VisRAG-Ret-Train-Synthetic-data
• openbmb/VisRAG-Ret-Train-In-domain-data
• tsystems/vqa_de_en_batch1
• vidore/colpali_train_set
• llamaindex/vdr-multilingual-train
• Metric-AI/tabfquad_train_set

基础模型

• Qwen/Qwen2.5-VL-3B-Instruct

标签

• vidore
• multimodal_embedding
• multilingual_embedding
• Text-to-Visual Document (T→VD) retrieval

库名称

peft

任务类型

visual-document-retrieval

📦 安装指南

pip install git+https://github.com/illuin-tech/colpali
pip install transformers==4.49.0
pip install flash-attn --no-build-isolation

💻 使用示例

基础用法

import torch
from PIL import Image

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model = ColQwen2_5.from_pretrained(
        "tsystems/colqwen2.5-3b-multilingual-v1.0",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # or "mps" if on Apple Silicon
    ).eval()
processor = ColQwen2_5_Processor.from_pretrained("tsystems/colqwen2.5-3b-multilingual-v1.0")

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

🔧 技术细节

模型训练

参数设置

我们使用低秩适配器（LoRA）对模型进行训练，其中alpha=128，r=128，应用于语言模型的Transformer层以及最终随机初始化的投影层。优化器使用paged_adamw_8bit。

训练环境为8xH100 GPU，采用分布式数据并行（通过accelerate），学习率为2e-4，线性衰减，热身步骤为1%，每个设备的批量大小为128，数据格式为bfloat16。

📚 详细文档

局限性

• 适用范围：该模型主要针对PDF类型的文档和资源丰富的语言进行优化，可能在其他文档类型或资源较少的语言上表现不佳。
• 适配性：该模型依赖于基于ColBERT后期交互机制的多向量检索，可能需要一定的工程工作才能适配缺乏原生多向量支持的通用向量检索框架。

📄 许可证

ColQwen2.5的视觉语言主干模型（Qwen2.5-VL）采用apache2.0许可证。模型的适配器采用MIT许可证。

引用

如果您在研究中使用了本组织的模型，请引用以下原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

开发者

T-Systems International