Biqwen2 V0.1

🚀 BiQwen2: Qwen2-VL-2B-InstructベースのColBERT戦略によるビジュアルリトリーバ

BiQwen2は、ビジュアル言語モデル（VLM）に基づく新しいモデルアーキテクチャとトレーニング戦略を用いて、ドキュメントのビジュアル特徴から効率的にインデックス付けを行うモデルです。これはQwen2-VL-2Bの拡張モデルで、論文ColPali: Efficient Document Retrieval with Vision Language Modelsで紹介され、このリポジトリで最初に公開されました。

🚀 クイックスタート

このモデルは、ColPaliとは異なり、入力画像のアスペクト比を変えずに動的な画像解像度を受け付けます。最大解像度は、最大768個の画像パッチが作成されるように設定されています。実験では、画像パッチの数を増やすことで、メモリ要件を犠牲にしても明らかな改善が見られます。

このバージョンはcolpali-engine==0.3.9でトレーニングされています。データは、論文で説明されているColPaliのデータと同じです。

✨ 主な機能

• 動的な画像解像度の入力をサポートし、アスペクト比を維持します。
• 画像パッチの数を増やすことで性能が向上します。
• 英語のデータセットでトレーニングされ、ゼロショットでの多言語への汎化能力を研究できます。

📦 インストール

colpali-engineをソースからインストールするか、バージョン0.3.9以上でインストールしてください。transformersのバージョンは4.49.1以上が必要です。

pip install git+https://github.com/illuin-tech/colpali

💻 使用例

基本的な使用法

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import BiQwen2, BiQwen2Processor

model = BiQwen2.from_pretrained(
    "vidore/biqwen2-v0.1",
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()
processor = BiQwen2Processor.from_pretrained("vidore/biqwen2-v0.1")

# Your inputs
images = [
    Image.new("RGB", (128, 128), color="white"),
    Image.new("RGB", (64, 32), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_single_vector(query_embeddings, image_embeddings)

📚 ドキュメント

モデルトレーニング

データセット

トレーニングデータセットは、127,460のクエリ-ページペアで構成されています。これは、公開されている学術データセットのトレーニングセット（63%）と、ウェブクロールしたPDFドキュメントのページから構成され、VLM（Claude-3 Sonnet）で生成された疑似質問で拡張された合成データセット（37%）で構成されています。トレーニングセットは英語のみで構成されており、非英語言語へのゼロショット汎化能力を研究することができます。また、評価の汚染を防ぐために、ViDoReとトレーニングセットでマルチページPDFドキュメントが重複して使用されていないことを明示的に確認しています。検証セットは、サンプルの2%を使用して作成され、ハイパーパラメータを調整するために使用されます。

注: 言語モデルの事前学習コーパスと多モーダルトレーニングには多言語データが含まれている可能性があります。

パラメータ

すべてのモデルは、トレーニングセットで1エポックトレーニングされます。特に指定がない限り、モデルはbfloat16形式でトレーニングされ、低ランクアダプター（LoRA）を使用して、言語モデルのトランスフォーマーレイヤーと最終的なランダムに初期化された投影レイヤーに適用されます。また、paged_adamw_8bitオプティマイザーが使用されます。トレーニングは8GPUのデータ並列環境で行われ、学習率は5e-5で、2.5%のウォームアップステップを伴う線形減衰が適用され、バッチサイズは32です。

🔧 技術詳細

• このモデルは、最大768個の画像パッチが作成されるように最大解像度が設定されています。
• トレーニングデータセットは、公開学術データセットと合成データセットで構成されています。
• モデルはbfloat16形式でトレーニングされ、低ランクアダプター（LoRA）を使用しています。

📄 ライセンス

ColQwen2のビジュアル言語バックボーンモデル（Qwen2-VL）はapache2.0ライセンスの下にあります。モデルに付属するアダプターはMITライセンスの下にあります。

連絡先

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用

もしあなたの研究でこの組織のデータセットやモデルを使用した場合は、以下のように元のデータセットを引用してください。

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}