Colpali V1.3 Hf

🚀 ColPali: PaliGemma - 3BベースのColBERT戦略によるビジュアルリトリーバ

ColPaliは、ビジュアル言語モデル（VLMs）に基づく新しいモデルアーキテクチャとトレーニング戦略を用いて、ビジュアル特徴から効率的にドキュメントをインデックス化するモデルです。 これは、PaliGemma - 3Bを拡張したもので、ColBERTスタイルのテキストと画像のマルチベクトル表現を生成します。 このモデルは論文ColPali: Efficient Document Retrieval with Vision Language Modelsで紹介され、このリポジトリで最初に公開されました。

HuggingFaceのtransformers 🤗 実装は、Tony Wu (@tonywu71) とYoni Gozlan (@yonigozlan) によって貢献されました。

🚀 クイックスタート

⚠️ 重要な注意

このバージョンのColPaliは、colpali - engineではなく、transformers 🤗 リリースでロードする必要があります。 これは、convert_colpali_weights_to_hf.py スクリプトを使用して、vidore/colpali - v1.3 - mergedチェックポイントから変換されました。

✨ 主な機能

ColPaliは、ビジュアル言語モデルを用いて、ビジュアル特徴から効率的にドキュメントをインデックス化します。これは、PaliGemma - 3Bを拡張したもので、ColBERTスタイルのマルチベクトル表現を生成することができます。

📚 ドキュメント

モデルの説明

transformers 🤗 のモデルカードを読むことができます：https://huggingface.co/docs/transformers/en/model_doc/colpali 。

モデルのトレーニング

データセット

私たちの127,460のクエリ - ページペアのトレーニングデータセットは、公開されている学術データセットのトレーニングセット（63％）と、ウェブクロールしたPDFドキュメントのページから構成され、VLM生成（Claude - 3 Sonnet）の擬似質問で拡張された合成データセット（37％）で構成されています。 私たちのトレーニングセットは、設計上完全に英語であり、非英語言語へのゼロショット汎化を研究することができます。評価の汚染を防ぐために、ViDoReとトレーニングセットの両方でマルチページPDFドキュメントが使用されていないことを明示的に検証しています。 ハイパーパラメータを調整するために、サンプルの2％で検証セットが作成されています。

注：多言語データは、言語モデル（Gemma - 2B）の事前学習コーパスに存在し、PaliGemma - 3Bのマルチモーダルトレーニング中に潜在的に発生します。

パラメータ

すべてのモデルは、トレーニングセットで1エポックトレーニングされます。特に指定がない限り、私たちはモデルをbfloat16形式でトレーニングし、低ランクアダプター（LoRA）を使用し、alpha = 32 およびr = 32を言語モデルのトランスフォーマーレイヤーと、最後のランダムに初期化された投影レイヤーに適用し、paged_adamw_8bitオプティマイザーを使用します。 私たちは、データ並列で8 GPUのセットアップでトレーニングし、学習率は5e - 5で、2.5％のウォームアップステップで線形減衰し、バッチサイズは32です。

💻 使用例

基本的な使用法

import torch
from PIL import Image

from transformers import ColPaliForRetrieval, ColPaliProcessor

model_name = "vidore/colpali-v1.3-hf"

model = ColPaliForRetrieval.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
).eval()

processor = ColPaliProcessor.from_pretrained(model_name)

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "What is the organizational structure for our R&D department?",
    "Can you provide a breakdown of last year’s financial performance?",
]

# Process the inputs
batch_images = processor(images=images).to(model.device)
batch_queries = processor(text=queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

# Score the queries against the images
scores = processor.score_retrieval(query_embeddings.embeddings, image_embeddings.embeddings)

🔗 リソース

• ColPaliのarXiv論文はこちらで見ることができます。 📄
• ColPaliを詳細に説明した公式ブログ記事はこちらで見ることができます。 📝
• ColPaliモデルとcolpali - engineパッケージの元のモデル実装コードはこちらで見ることができます。 🌎
• ColPaliのtransformersネイティブバージョンの使用方法、微調整、および類似度マップの生成に関するハウツーガイドはこちらで見ることができます。 📚

🔧 技術的な制限事項

• 焦点：このモデルは主にPDFタイプのドキュメントとリソースが豊富な言語に焦点を当てているため、他のドキュメントタイプやあまり表現されていない言語への汎化能力が制限される可能性があります。
• サポート：このモデルは、ColBERTの後期相互作用メカニズムに由来するマルチベクトル検索に依存しています。これは、ネイティブのマルチベクトルサポートがない一般的なベクトル検索フレームワークに適応させるためにエンジニアリングの努力が必要になる場合があります。

📄 ライセンス

ColPaliのビジュアル言語バックボーンモデル（PaliGemma）は、そのモデルカードで指定されているように、gemmaライセンスの下にあります。ColPaliはこのgemmaライセンスを引き継いでいます。

📞 連絡先

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

📚 引用

もしあなたがこの組織のデータセットやモデルを研究で使用した場合は、以下のように元のデータセットを引用してください。

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}