Colqwen2 7b V1.0

🚀 IEIT-Systems ColQwen2-7B：基于Qwen2-VL-7B-Instruct和ColBERT策略的视觉检索器

本模型是基于视觉语言模型（VLMs）的新型模型架构和训练策略，能够根据文档的视觉特征对其进行高效索引。它是 Qwen2-VL-7B 的扩展版本，可生成 ColBERT 风格的文本和图像多向量表示。该模型在论文 ColPali: Efficient Document Retrieval with Vision Language Models 中被提出，并首次在 此仓库 发布。

此版本是未经训练的基础版本，以确保投影层初始化的确定性。

✨ 主要特性

• 本模型接受动态图像分辨率输入，不会像ColPali那样改变图像的纵横比。最大分辨率设置为最多创建768个图像块。实验表明，增加图像块数量可显著提升性能，但会增加内存需求。
• 此版本使用 colpali-engine==0.3.4 进行训练。
• 数据与论文中描述的ColPali数据相同。此外，还使用了ShareGPT4V (https://sharegpt4v.github.io/) 数据集进行微调。

📦 安装指南

确保从源代码安装 colpali-engine 或使用版本高于0.3.4的版本。transformers 版本必须 > 4.46.1。

pip install git+https://github.com/illuin-tech/colpali

💻 使用示例

基础用法

import torch
from PIL import Image

from colpali_engine.models import ColQwen2, ColQwen2Processor

model = ColQwen2.from_pretrained(
        "yydxlv/colqwen2-7b-v1.0",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # or "mps" if on Apple Silicon
    ).eval()
processor = ColQwen2Processor.from_pretrained("yydxlv/colqwen2-7b-v1.0")

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

🔧 技术细节

模型训练参数

我们使用低秩适配器（LoRA）训练模型，在语言模型的Transformer层以及最终随机初始化的投影层上设置 alpha=32 和 r=32，并使用 paged_adamw_8bit 优化器。训练在8xA100 GPU上进行，采用分布式数据并行（通过accelerate），学习率为5e-4，线性衰减，热身步骤为1%，每个设备的批量大小为32，使用 bfloat16 格式。

📄 许可证

ColQwen2的视觉语言骨干模型（Qwen2-VL）遵循 apache2.0 许可证。此微调适配器遵循 CC BY NC 4.0许可证。因此，目前该模型仅用于研究目的。

📚 详细文档

局限性

• 专注领域：该模型主要专注于PDF类型的文档和资源丰富的语言，可能限制了其在其他文档类型或资源较少语言上的泛化能力。
• 支持情况：该模型依赖于源自ColBERT后期交互机制的多向量检索，可能需要工程化工作才能适应缺乏原生多向量支持的广泛使用的向量检索框架。

引用

如果您在研究中使用了该组织的模型，请按以下方式引用原始论文：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

开发者

IEIT systems

📋 模型信息