Colpali V1.3

🚀 ColPali：基于PaliGemma - 3B和ColBERT策略的视觉检索器

ColPali是一个基于视觉语言模型（VLMs）的新型模型架构和训练策略的模型，它能够根据文档的视觉特征对其进行高效索引。该模型是PaliGemma - 3B的扩展，可生成ColBERT风格的文本和图像多向量表示。它在论文ColPali: Efficient Document Retrieval with Vision Language Models中被提出，并首次在此仓库发布。

🚀 快速开始

本版本在与原始ColPali模型相同的数据上，以256的批量大小训练了3个周期。

✨ 主要特性

版本特性

• 本版本使用colpali - engine==0.2.0进行训练，但可加载任何>=0.2.0的版本。
• 与vidore/colpali相比，此版本在查询时使用右填充，以修复查询编码中不需要的标记。
• 它基于修复后的vidore/colpaligemma - 3b - pt - 448 - base，以确保投影层初始化的确定性。
• 训练了5个周期，使用批内负样本和硬挖掘负样本，并进行了1000步（长10倍）的热身，以帮助减少非英语语言的崩溃。
• 数据与论文中描述的ColPali数据相同。

模型描述

本模型从现成的SigLIP模型开始迭代构建。我们对其进行微调以创建BiSigLIP，并将SigLIP输出的图像块嵌入输入到大型语言模型PaliGemma - 3B中，以创建BiPali。

通过语言模型输入图像块嵌入的一个好处是，它们可以自然地映射到与文本输入（查询）相似的潜在空间。这使得能够利用ColBERT策略来计算文本标记和图像块之间的交互，与BiPali相比，性能有了显著提升。

📦 安装指南

安装[colpali - engine](https://github.com/illuin - tech/colpali)：

pip install colpali-engine>=0.3.0,<0.4.0

💻 使用示例

基础用法

from typing import cast

import torch
from PIL import Image

from colpali_engine.models import ColPali, ColPaliProcessor

model_name = "vidore/colpali-v1.3"

model = ColPali.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
).eval()

processor = ColPaliProcessor.from_pretrained(model_name)

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "Are Benjamin, Antoine, Merve, and Jo best friends?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

📚 详细文档

模型训练

数据集

我们的训练数据集包含127,460个查询 - 页面对，由公开可用的学术数据集的训练集（63%）和合成数据集（37%）组成。合成数据集由网络爬取的PDF文档页面和由VLM生成（Claude - 3 Sonnet）的伪问题组成。我们的训练集在设计上完全是英文的，这使我们能够研究对非英语语言的零样本泛化能力。我们明确验证了没有多页PDF文档同时用于ViDoRe和训练集中，以防止评估污染。使用2%的样本创建验证集来调整超参数。

注意：多语言数据存在于语言模型（Gemma - 2B）的预训练语料库中，并且可能在PaliGemma - 3B的多模态训练期间出现。

参数

所有模型在训练集上训练1个周期。除非另有说明，我们以bfloat16格式训练模型，在语言模型的Transformer层以及最终随机初始化的投影层上使用低秩适配器（LoRA），其中alpha = 32和r = 32，并使用paged_adamw_8bit优化器。我们在8个GPU的设置上进行数据并行训练，学习率为5e - 5，采用线性衰减，热身步骤为2.5%，批量大小为32。

局限性

• 聚焦范围：该模型主要专注于PDF类型的文档和资源丰富的语言，可能限制了其对其他文档类型或代表性不足语言的泛化能力。
• 支持情况：该模型依赖于从ColBERT后期交互机制派生的多向量检索，这可能需要工程努力才能适应缺乏原生多向量支持的广泛使用的向量检索框架。

许可证

ColPali的视觉语言骨干模型（PaliGemma）遵循其模型卡片中指定的gemma许可证。附加到模型的适配器遵循MIT许可证。

联系信息

• Manuel Faysse：manuel.faysse@illuin.tech
• Hugues Sibille：hugues.sibille@illuin.tech
• Tony Wu：tony.wu@illuin.tech

引用

如果您在研究中使用了该组织的任何数据集或模型，请按以下方式引用原始数据集：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

信息表格

常用提示信息

⚠️ 重要提示

明确验证了没有多页PDF文档同时用于ViDoRe和训练集中，以防止评估污染。

💡 使用建议

该模型主要专注于PDF类型的文档和资源丰富的语言，在应用于其他文档类型或代表性不足语言时需谨慎评估。