Colpali V1.2

🚀 ColPali: PaliGemma - 3BベースのColBERT戦略による視覚検索モデル

ColPaliは、ビジョン言語モデル（VLM）に基づく新しいモデルアーキテクチャとトレーニング戦略を用いて、ドキュメントの視覚的特徴から効率的にインデックス付けを行うモデルです。 これはPaliGemma - 3Bの拡張モデルで、ColBERTスタイルのテキストと画像の多ベクトル表現を生成します。 このモデルは論文ColPali: Efficient Document Retrieval with Vision Language Modelsで紹介され、このリポジトリで最初に公開されました。

✨ 主な機能

🔍 バージョンの特徴

このバージョンはcolpali - engine==0.2.0でトレーニングされていますが、>=0.2.0の任意のバージョンで読み込むことができます。 vidore/colpaliと比較して、このバージョンはクエリの右パディングを使用してトレーニングされており、クエリエンコーディングで不要なトークンを修正しています。 また、固定されたvidore/colpaligemma - 3b - pt - 448 - baseから派生しており、決定論的な投影層の初期化を保証しています。 このモデルは5エポックでトレーニングされ、バッチ内ネガティブとハードマイニングされたネガティブを使用し、1000ステップ（10倍長い）のウォームアップを行って、非英語の言語崩壊を減らすのに役立てています。 データは論文で説明されているColPaliデータと同じです。

📚 モデルの説明

このモデルは、既存の[SigLIP](https://huggingface.co/google/siglip - so400m - patch14 - 384)モデルから反復的に構築されています。 これをファインチューニングしてBiSigLIPを作成し、SigLIPが出力するパッチ埋め込みを大規模言語モデルである[PaliGemma - 3B](https://huggingface.co/google/paligemma - 3b - mix - 448)に入力してBiPaliを作成します。 画像パッチ埋め込みを言語モデルに入力することの利点の1つは、それらが自然にテキスト入力（クエリ）と同様の潜在空間にマッピングされることです。 これにより、ColBERT戦略を利用して、テキストトークンと画像パッチの間の相互作用を計算することができ、BiPaliと比較して性能が大幅に向上します。

📈 モデルのトレーニング

データセット

トレーニングデータセットは127,460のクエリ - ページペアで構成されており、公開されている学術データセットのトレーニングセット（63％）と、ウェブクロールしたPDFドキュメントのページから構成され、VLM生成（Claude - 3 Sonnet）の疑似質問で拡張された合成データセット（37％）で構成されています。 トレーニングセットは設計上完全に英語であり、非英語言語へのゼロショット汎化を研究することができます。 [ViDoRe](https://huggingface.co/collections/vidore/vidore - benchmark - 667173f98e70a1c0fa4db00d)とトレーニングセットの両方で複数ページのPDFドキュメントが使用されていないことを明示的に検証し、評価の汚染を防止しています。 ハイパーパラメータを調整するために、サンプルの2％を使用して検証セットを作成しています。

注: 多言語データは言語モデル（Gemma - 2B）の事前学習コーパスに含まれており、PaliGemma - 3Bのマルチモーダルトレーニング中に潜在的に発生します。

パラメータ

すべてのモデルはトレーニングセットで1エポックトレーニングされます。特に指定がない限り、モデルはbfloat16形式でトレーニングされ、低ランクアダプター（LoRA）を使用します。 言語モデルのトランスフォーマー層と、最後のランダムに初期化された投影層にalpha = 32とr = 32を使用し、paged_adamw_8bitオプティマイザーを使用します。 8GPUのセットアップでデータ並列化を使用し、学習率を5e - 5、線形減衰で2.5％のウォームアップステップ、バッチサイズを32でトレーニングします。

📦 インストール

[colpali - engine](https://github.com/illuin - tech/colpali)をインストールします。

pip install colpali - engine>=0.3.0,<0.4.0

💻 使用例

基本的な使用法

from typing import cast

import torch
from PIL import Image

from colpali_engine.models import ColPali, ColPaliProcessor

model_name = "vidore/colpali - v1.2"

model = ColPali.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
).eval()

processor = ColPaliProcessor.from_pretrained(model_name)

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "Are Benjamin, Antoine, Merve, and Jo best friends?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

🔧 技術詳細

制限事項

• 対象範囲: このモデルは主にPDF形式のドキュメントとリソースの多い言語に焦点を当てているため、他のドキュメント形式やあまり表現されていない言語への汎化能力が制限される可能性があります。
• サポート: このモデルはColBERTの後期相互作用メカニズムに基づく多ベクトル検索に依存しているため、ネイティブな多ベクトルサポートのない一般的なベクトル検索フレームワークに適応させるにはエンジニアリングの努力が必要になる可能性があります。

ライセンス

ColPaliのビジョン言語バックボーンモデル（PaliGemma）は、[モデルカード](https://huggingface.co/google/paligemma - 3b - mix - 448)に指定されているgemmaライセンスの下にあります。モデルに付属するアダプターはMITライセンスの下にあります。

連絡先

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用

この組織のデータセットやモデルを研究で使用する場合は、元のデータセットを次のように引用してください。

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

情報一覧