Colpali V1.3 Hf

🚀 ColPali：基於PaliGemma - 3B和ColBERT策略的視覺檢索器

ColPali是一個基於視覺語言模型（VLMs）的新型模型架構和訓練策略的模型，可根據文檔的視覺特徵對其進行高效索引。它是PaliGemma - 3B的擴展，能夠生成ColBERT風格的文本和圖像多向量表示。該模型在論文ColPali: Efficient Document Retrieval with Vision Language Models中被提出，並首次在此倉庫中發佈。HuggingFace transformers 🤗 的實現由Tony Wu（@tonywu71）和Yoni Gozlan（@yonigozlan）貢獻。

⚠️ 重要提示

此版本的ColPali應使用transformers 🤗版本加載，而不是colpali - engine。它是使用convert_colpali_weights_to_hf.py腳本從vidore/colpali - v1.3 - merged檢查點轉換而來。

✨ 主要特性

• 基於視覺語言模型（VLMs）的新型架構和訓練策略，可根據視覺特徵高效索引文檔。
• 作為PaliGemma - 3B的擴展，能生成ColBERT風格的多向量文本和圖像表示。

📚 詳細文檔

閱讀transformers 🤗 模型卡片：https://huggingface.co/docs/transformers/en/model_doc/colpali。

🔧 技術細節

數據集

我們的訓練數據集包含127,460個查詢 - 頁面配對，由公開可用的學術數據集的訓練集（63%）和一個合成數據集（37%）組成。合成數據集由網絡爬取的PDF文檔頁面構成，並使用VLM生成（Claude - 3 Sonnet）的偽問題進行增強。我們的訓練集設計為全英文，以便研究對非英語語言的零樣本泛化能力。我們明確驗證了沒有多頁PDF文檔同時用於ViDoRe和訓練集，以防止評估汙染。使用2%的樣本創建驗證集來調整超參數。

注意：多語言數據存在於語言模型（Gemma - 2B）的預訓練語料庫中，並且可能在PaliGemma - 3B的多模態訓練期間出現。

參數

所有模型在訓練集上訓練1個epoch。除非另有說明，我們以bfloat16格式訓練模型，在語言模型的Transformer層以及最終隨機初始化的投影層使用低秩適配器（LoRA），其中alpha = 32且r = 32，並使用paged_adamw_8bit優化器。我們在8個GPU的設置上進行數據並行訓練，學習率為5e - 5，採用線性衰減，熱身步驟為2.5%，批量大小為32。

💻 使用示例

基礎用法

import torch
from PIL import Image

from transformers import ColPaliForRetrieval, ColPaliProcessor

model_name = "vidore/colpali-v1.3-hf"

model = ColPaliForRetrieval.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
).eval()

processor = ColPaliProcessor.from_pretrained(model_name)

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "What is the organizational structure for our R&D department?",
    "Can you provide a breakdown of last year’s financial performance?",
]

# Process the inputs
batch_images = processor(images=images).to(model.device)
batch_queries = processor(text=queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

# Score the queries against the images
scores = processor.score_retrieval(query_embeddings.embeddings, image_embeddings.embeddings)

📦 資源

• ColPali的arXiv論文可在此處找到。 📄
• 詳細介紹ColPali的官方博客文章可在此處找到。 📝
• ColPali模型和colpali - engine包的原始模型實現代碼可在此處找到。 🌎
• 學習使用transformers原生版本的ColPali、微調以及生成相似度地圖的手冊可在此處找到。 📚

🛠️ 侷限性

• 專注領域：該模型主要專注於PDF類型文檔和資源豐富的語言，可能限制其對其他文檔類型或代表性不足語言的泛化能力。
• 支持情況：該模型依賴於從ColBERT後期交互機制派生的多向量檢索，這可能需要工程努力才能適應缺乏原生多向量支持的廣泛使用的向量檢索框架。

📄 許可證

ColPali的視覺語言主幹模型（PaliGemma）遵循其模型卡片中指定的gemma許可證。ColPali繼承此gemma許可證。

📞 聯繫信息

• Manuel Faysse：manuel.faysse@illuin.tech
• Hugues Sibille：hugues.sibille@illuin.tech
• Tony Wu：tony.wu@illuin.tech

📚 引用

如果您在研究中使用了該組織的任何數據集或模型，請按以下方式引用原始數據集：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}