Colqwen2 V1.0

🚀 ColQwen2：基於Qwen2-VL-2B-Instruct與ColBERT策略的視覺檢索器

ColQwen2是一種基於視覺語言模型（VLMs）的新型模型架構和訓練策略，能夠從視覺特徵中高效索引文檔。它是Qwen2-VL-2B的擴展，可生成ColBERT風格的文本和圖像多向量表示。該模型在論文ColPali: Efficient Document Retrieval with Vision Language Models中被提出，並首次在此倉庫發佈。

🚀 快速開始

ColQwen2是基於視覺語言模型（VLMs）的新型模型，用於從視覺特徵中高效索引文檔。它是Qwen2-VL-2B的擴展，可生成ColBERT風格的多向量表示。

✨ 主要特性

• 基於新穎的模型架構和訓練策略，能從視覺特徵高效索引文檔。
• 作為Qwen2-VL-2B的擴展，生成ColBERT風格的多向量表示。
• 接受動態圖像分辨率輸入，不改變圖像寬高比。
• 實驗表明，更多圖像塊可帶來顯著性能提升，但會增加內存需求。

📦 安裝指南

確保安裝colpali-engine的版本高於0.3.4，transformers版本高於4.46.1。

pip install git+https://github.com/illuin-tech/colpali

💻 使用示例

基礎用法

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import ColQwen2, ColQwen2Processor

model = ColQwen2.from_pretrained(
    "vidore/colqwen2-v1.0",
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()
processor = ColQwen2Processor.from_pretrained("vidore/colqwen2-v1.0")

# Your inputs
images = [
    Image.new("RGB", (128, 128), color="white"),
    Image.new("RGB", (64, 32), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

📚 詳細文檔

版本特性

此模型接受動態圖像分辨率輸入，不改變圖像寬高比，最大分辨率設置為最多創建768個圖像塊。實驗表明，更多圖像塊可帶來顯著性能提升，但會增加內存需求。此版本使用colpali-engine==0.3.1進行訓練，數據與論文中描述的ColPali數據相同。

模型訓練

數據集

訓練數據集包含127,460個查詢-頁面配對，由公開可用學術數據集的訓練集（63%）和合成數據集（37%）組成。合成數據集由網頁爬取的PDF文檔頁面組成，並使用VLM生成的偽問題（Claude-3 Sonnet）進行增強。訓練集設計為全英文，以便研究對非英語語言的零樣本泛化能力。驗證集使用2%的樣本進行超參數調整。

參數

所有模型在訓練集上訓練1個epoch。除非另有說明，模型以bfloat16格式訓練，使用低秩適配器（LoRA），alpha=32，r=32，應用於語言模型的Transformer層和最終隨機初始化的投影層，並使用paged_adamw_8bit優化器。模型在8個GPU上進行數據並行訓練，學習率為5e-5，線性衰減，熱身步驟為2.5%，批量大小為32。

🔧 技術細節

ColQwen2基於視覺語言模型架構，結合ColBERT策略，對文本和圖像生成多向量表示。通過動態圖像分辨率輸入和特定的訓練策略，提高文檔檢索效率。模型訓練使用特定的數據集和參數設置，以實現對不同語言和文檔類型的泛化能力。

📄 許可證

ColQwen2的視覺語言骨幹模型（Qwen2-VL）採用apache2.0許可證，附加的適配器採用MIT許可證。

聯繫我們

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用說明

如果您在研究中使用了本組織的任何數據集或模型，請按以下格式引用原始數據集：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}