Colpali V1.2

🚀 ColPali：基於PaliGemma - 3B和ColBERT策略的視覺檢索器

ColPali是一個基於視覺語言模型（VLMs）的新型模型架構和訓練策略的模型，可根據文檔的視覺特徵對其進行高效索引。它是PaliGemma - 3B的擴展，能夠生成ColBERT風格的文本和圖像多向量表示。該模型在論文ColPali: Efficient Document Retrieval with Vision Language Models中被提出，並首次在此倉庫中發佈。

✨ 主要特性

版本特性

• 此版本使用colpali - engine==0.2.0進行訓練，但可以加載任何版本>=0.2.0。
• 與vidore/colpali相比，該版本在查詢時使用右填充，以修復查詢編碼中不需要的標記。
• 它基於修復後的vidore/colpaligemma - 3b - pt - 448 - base，以保證投影層初始化的確定性。
• 該模型訓練了5個週期，使用批內負樣本和硬挖掘負樣本，並進行了1000步（長10倍）的熱身，以幫助減少非英語語言的崩潰。
• 數據與論文中描述的ColPali數據相同。

模型描述

• 該模型從現成的SigLIP模型開始迭代構建。
• 對其進行微調以創建BiSigLIP，並將SigLIP輸出的圖像塊嵌入輸入到大型語言模型PaliGemma - 3B中，以創建BiPali。
• 通過語言模型輸入圖像塊嵌入的一個好處是，它們可以自然地映射到與文本輸入（查詢）相似的潛在空間。這使得可以利用ColBERT策略來計算文本標記和圖像塊之間的交互，與BiPali相比，性能有了顯著提升。

模型訓練

數據集

• 訓練數據集包含127,460個查詢 - 頁面對，由公開可用的學術數據集的訓練集（63%）和一個合成數據集組成，合成數據集由網絡爬取的PDF文檔頁面組成，並使用VLM生成（Claude - 3 Sonnet）的偽問題進行增強（37%）。
• 訓練集設計為全英文，以便研究對非英語語言的零樣本泛化能力。明確驗證了沒有多頁PDF文檔同時用於ViDoRe和訓練集中，以防止評估汙染。
• 使用2%的樣本創建驗證集來調整超參數。

注意：多語言數據存在於語言模型（Gemma - 2B）的預訓練語料庫中，並且可能在PaliGemma - 3B的多模態訓練期間出現。

參數

• 所有模型在訓練集上訓練1個週期。除非另有說明，否則以bfloat16格式訓練模型，使用低秩適配器（LoRA），在語言模型的變壓器層以及最終隨機初始化的投影層上設置alpha = 32和r = 32，並使用paged_adamw_8bit優化器。
• 在8個GPU上進行數據並行訓練，學習率為5e - 5，採用線性衰減，熱身步驟為2.5%，批量大小為32。

📦 安裝指南

安裝[colpali - engine](https://github.com/illuin - tech/colpali)：

pip install colpali - engine>=0.3.0,<0.4.0

💻 使用示例

基礎用法

from typing import cast

import torch
from PIL import Image

from colpali_engine.models import ColPali, ColPaliProcessor

model_name = "vidore/colpali - v1.2"

model = ColPali.from_pretrained(
    model_name,
    torch_dtype = torch.bfloat16,
    device_map = "cuda:0",  # or "mps" if on Apple Silicon
).eval()

processor = ColPaliProcessor.from_pretrained(model_name)

# Your inputs
images = [
    Image.new("RGB", (32, 32), color = "white"),
    Image.new("RGB", (16, 16), color = "black"),
]
queries = [
    "Is attention really all you need?",
    "Are Benjamin, Antoine, Merve, and Jo best friends?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

🔧 技術細節

侷限性

• 聚焦範圍：該模型主要聚焦於PDF類型的文檔和資源豐富的語言，可能限制了其對其他文檔類型或代表性不足語言的泛化能力。
• 支持情況：該模型依賴於從ColBERT後期交互機制派生的多向量檢索，可能需要工程努力才能適應缺乏原生多向量支持的廣泛使用的向量檢索框架。

許可證

ColPali的視覺語言骨幹模型（PaliGemma）遵循其模型卡片中指定的gemma許可證。附加到模型的適配器遵循MIT許可證。

聯繫信息

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用

如果在研究中使用了該組織的任何數據集或模型，請按以下方式引用原始數據集：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}