Colpali V1.2 Hf

🚀 ColPali: PaliGemma - 3BベースのColBERT戦略によるビジュアルリトリーバ

ColPaliは、ビジュアル言語モデル（VLM）に基づく新しいモデルアーキテクチャとトレーニング戦略を用いて、ドキュメントのビジュアル特徴から効率的にインデックスを作成するモデルです。 これはPaliGemma - 3Bの拡張モデルで、ColBERTスタイルのテキストと画像のマルチベクトル表現を生成します。 このモデルは論文ColPali: Efficient Document Retrieval with Vision Language Modelsで紹介され、このリポジトリで最初に公開されました。

HuggingFaceのtransformers 🤗 実装は、Tony Wu (@tonywu71) とYoni Gozlan (@yonigozlan) によって貢献されました。

🚀 クイックスタート

⚠️ 重要提示

このバージョンのColPaliは、colpali - engineではなく、transformers 🤗 リリースでロードする必要があります。 これは、convert_colpali_weights_to_hf.py スクリプトを使用して、vidore/colpali - v1.2 - mergedチェックポイントから変換されました。

✨ 主な機能

ColPaliは、ビジュアル言語モデル（VLM）に基づく新しいアーキテクチャとトレーニング戦略を用いて、ドキュメントのビジュアル特徴から効率的にインデックスを作成し、ドキュメントの検索を行います。また、PaliGemma - 3Bを拡張してColBERTスタイルのマルチベクトル表現を生成することができます。

📦 インストール

このセクションでは、ColPaliを使用するためのコードを提供しています。以下のコードを参考にしてください。

💻 使用例

基本的な使用法

import torch
from PIL import Image

from transformers import ColPaliForRetrieval, ColPaliProcessor

model_name = "vidore/colpali-v1.2-hf"

model = ColPaliForRetrieval.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
).eval()

processor = ColPaliProcessor.from_pretrained(model_name)

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "What is the organizational structure for our R&D department?",
    "Can you provide a breakdown of last year’s financial performance?",
]

# Process the inputs
batch_images = processor(images=images).to(model.device)
batch_queries = processor(text=queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

# Score the queries against the images
scores = processor.score_retrieval(query_embeddings.embeddings, image_embeddings.embeddings)

📚 ドキュメント

モデルの説明

このモデルは、既存のSigLIPモデルから反復的に構築されています。 これをファインチューニングしてBiSigLIPを作成し、SigLIPから出力されるパッチ埋め込みを言語モデルであるPaliGemma - 3Bに入力してBiPaliを作成します。 画像パッチ埋め込みを言語モデルを通じて入力することの利点の1つは、それらがテキスト入力（クエリ）と同様の潜在空間にネイティブにマップされることです。 これにより、ColBERT戦略を利用して、テキストトークンと画像パッチの間の相互作用を計算することができ、BiPaliと比較して性能が大幅に向上します。

モデルのトレーニング

データセット

127,460のクエリ - ページペアからなるトレーニングデータセットは、公開されている学術データセットのトレーニングセット（63％）と、ウェブクロールしたPDFドキュメントのページから構成され、VLM生成（Claude - 3 Sonnet）の疑似質問で拡張された合成データセット（37％）で構成されています。 トレーニングセットは設計上完全に英語であり、非英語言語へのゼロショット汎化を研究することができます。明示的に、ViDoReとトレーニングセットの両方でマルチページPDFドキュメントが使用されていないことを検証し、評価の汚染を防止しています。 ハイパーパラメータを調整するために、サンプルの2％を使用して検証セットを作成しています。

注: 多言語データは、言語モデル（Gemma - 2B）の事前学習コーパスに含まれており、PaliGemma - 3Bのマルチモーダルトレーニング中に潜在的に発生します。

パラメータ

すべてのモデルは、トレーニングセットで1エポックトレーニングされます。特に指定がない限り、モデルはbfloat16形式でトレーニングされ、低ランクアダプター（LoRA）を使用し、alpha = 32 および r = 32 を言語モデルのトランスフォーマーレイヤーと、最後のランダムに初期化された投影レイヤーに適用し、paged_adamw_8bitオプティマイザーを使用します。 8GPUセットアップでデータ並列でトレーニングされ、学習率は5e - 5で線形減衰し、2.5％のウォームアップステップを使用し、バッチサイズは32です。

リソース

• ColPaliのarXiv論文はこちらで見ることができます。 📄
• ColPaliを詳細に説明した公式ブログ記事はこちらで見ることができます。 📝
• ColPaliモデルとcolpali - engineパッケージの元のモデル実装コードはこちらで見ることができます。 🌎
• ColPaliのtransformersネイティブバージョンの使用方法、ファインチューニング、および類似度マップ生成のクックブックはこちらで見ることができます。 📚

制限事項

• 焦点: このモデルは主にPDFタイプのドキュメントとリソースが豊富な言語に焦点を当てており、他のドキュメントタイプやあまり表現されていない言語への汎化が制限される可能性があります。
• サポート: このモデルは、ColBERTの遅延相互作用メカニズムに基づくマルチベクトル検索に依存しており、ネイティブのマルチベクトルサポートを持たない一般的なベクトル検索フレームワークに適応させるにはエンジニアリング努力が必要になる場合があります。

📄 ライセンス

ColPaliのビジュアル言語バックボーンモデル（PaliGemma）は、そのモデルカードに指定されているgemmaライセンスの下にあります。ColPaliはこのgemmaライセンスを引き継いでいます。

コンタクト

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用

この組織のデータセットやモデルを研究で使用する場合は、以下のように元のデータセットを引用してください。

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}