Colqwen2 7b V1.0

🚀 IEIT-Systems ColQwen2-7B：基於Qwen2-VL-7B-Instruct和ColBERT策略的視覺檢索器

本模型是基於視覺語言模型（VLMs）的新型模型架構和訓練策略，能夠根據文檔的視覺特徵對其進行高效索引。它是 Qwen2-VL-7B 的擴展版本，可生成 ColBERT 風格的文本和圖像多向量表示。該模型在論文 ColPali: Efficient Document Retrieval with Vision Language Models 中被提出，並首次在 此倉庫 發佈。

此版本是未經訓練的基礎版本，以確保投影層初始化的確定性。

✨ 主要特性

• 本模型接受動態圖像分辨率輸入，不會像ColPali那樣改變圖像的縱橫比。最大分辨率設置為最多創建768個圖像塊。實驗表明，增加圖像塊數量可顯著提升性能，但會增加內存需求。
• 此版本使用 colpali-engine==0.3.4 進行訓練。
• 數據與論文中描述的ColPali數據相同。此外，還使用了ShareGPT4V (https://sharegpt4v.github.io/) 數據集進行微調。

📦 安裝指南

確保從源代碼安裝 colpali-engine 或使用版本高於0.3.4的版本。transformers 版本必須 > 4.46.1。

pip install git+https://github.com/illuin-tech/colpali

💻 使用示例

基礎用法

import torch
from PIL import Image

from colpali_engine.models import ColQwen2, ColQwen2Processor

model = ColQwen2.from_pretrained(
        "yydxlv/colqwen2-7b-v1.0",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # or "mps" if on Apple Silicon
    ).eval()
processor = ColQwen2Processor.from_pretrained("yydxlv/colqwen2-7b-v1.0")

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

🔧 技術細節

模型訓練參數

我們使用低秩適配器（LoRA）訓練模型，在語言模型的Transformer層以及最終隨機初始化的投影層上設置 alpha=32 和 r=32，並使用 paged_adamw_8bit 優化器。訓練在8xA100 GPU上進行，採用分佈式數據並行（通過accelerate），學習率為5e-4，線性衰減，熱身步驟為1%，每個設備的批量大小為32，使用 bfloat16 格式。

📄 許可證

ColQwen2的視覺語言骨幹模型（Qwen2-VL）遵循 apache2.0 許可證。此微調適配器遵循 CC BY NC 4.0許可證。因此，目前該模型僅用於研究目的。

📚 詳細文檔

侷限性

• 專注領域：該模型主要專注於PDF類型的文檔和資源豐富的語言，可能限制了其在其他文檔類型或資源較少語言上的泛化能力。
• 支持情況：該模型依賴於源自ColBERT後期交互機制的多向量檢索，可能需要工程化工作才能適應缺乏原生多向量支持的廣泛使用的向量檢索框架。

引用

如果您在研究中使用了該組織的模型，請按以下方式引用原始論文：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

開發者

IEIT systems

📋 模型信息