Colqwen2 V0.1

🚀 ColQwen2: Qwen2-VL-2B-InstructベースのColBERT戦略によるビジュアルリトリーバ

ColQwenは、ビジュアル言語モデル（VLMs）に基づく新しいモデルアーキテクチャとトレーニング戦略に基づいたモデルで、ビジュアル特徴から効率的にドキュメントをインデックス化します。 これはQwen2-VL-2Bの拡張であり、ColBERTスタイルのテキストと画像のマルチベクトル表現を生成します。 このモデルは論文ColPali: Efficient Document Retrieval with Vision Language Modelsで紹介され、このリポジトリで最初に公開されました。

このバージョンは、決定的な射影層の初期化を保証するための未学習のベースバージョンです。

✨ 主な機能

バージョンの特異性

このモデルは、動的な画像解像度を入力として受け取り、ColPaliのようにアスペクト比を変えずにリサイズしません。最大解像度は、最大768個の画像パッチが作成されるように設定されています。実験では、画像パッチの量が増えると、メモリ要件を犠牲にしても明らかな改善が見られます。

このバージョンはcolpali-engine==0.3.1で学習されています。 データは、論文で説明されているColPaliデータと同じです。

モデルの学習

データセット

私たちの127,460のクエリ - ページペアの学習データセットは、公開されている学術データセットのトレーニングセット（63％）と、ウェブクロールしたPDFドキュメントのページから構成され、VLM生成（Claude-3 Sonnet）の疑似質問で拡張された合成データセット（37％）で構成されています。 私たちの学習セットは、デザイン上完全に英語であり、非英語言語へのゼロショット汎化を研究することができます。評価の汚染を防ぐために、ViDoReと学習セットの両方でマルチページPDFドキュメントが使用されていないことを明示的に検証しています。 ハイパーパラメータを調整するために、サンプルの2％で検証セットを作成しています。

注: 多言語データは、言語モデルの事前学習コーパスに存在し、おそらくマルチモーダル学習にも存在します。

パラメータ

すべてのモデルは、トレーニングセットで1エポック学習されます。特に指定がない限り、モデルはbfloat16形式で学習され、低ランクアダプター（LoRA）を使用し、言語モデルのトランスフォーマー層と最後のランダムに初期化された射影層にalpha = 32 と r = 32 を使用し、paged_adamw_8bitオプティマイザを使用します。 私たちは、データ並列で8GPUの設定で学習し、学習率は5e-5で線形減衰し、2.5％のウォームアップステップを使用し、バッチサイズは32です。

📦 インストール

colpali-engineがソースからインストールされているか、バージョン0.3.1以上であることを確認してください。 transformersのバージョンは> 4.45.0である必要があります。

pip install git+https://github.com/illuin-tech/colpali

💻 使用例

基本的な使用法

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import ColQwen2, ColQwen2Processor

model = ColQwen2.from_pretrained(
    "vidore/colqwen2-v0.1",
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()
processor = ColQwen2Processor.from_pretrained("vidore/colqwen2-v0.1")

# Your inputs
images = [
    Image.new("RGB", (128, 128), color="white"),
    Image.new("RGB", (64, 32), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

🔧 技術詳細

制限事項

• 焦点: このモデルは主にPDFタイプのドキュメントと高リソース言語に焦点を当てているため、他のドキュメントタイプや表現が少ない言語への汎化が制限される可能性があります。
• サポート: このモデルは、ColBERTの遅延相互作用メカニズムに由来するマルチベクトル検索に依存しており、ネイティブのマルチベクトルサポートがない一般的なベクトル検索フレームワークに適応させるにはエンジニアリングの努力が必要になる場合があります。

ライセンス

ColQwen2のビジュアル言語バックボーンモデル（Qwen2-VL）はapache2.0ライセンスの下にあります。モデルに付属するアダプターはMITライセンスの下にあります。

連絡先

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用

もしあなたがこの組織のデータセットやモデルを研究で使用する場合は、元のデータセットを次のように引用してください。

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}