Colqwen2.5 3b Multilingual V1.0 Merged

🚀 ColQwen2.5-3b-multilingual-v1.0: Qwen2.5-VL-3B-InstructベースのColBERT戦略を用いた多言語ビジュアルリトリーバ

このモデルは、ビジュアル言語モデル（VLMs）に基づく新しいモデルアーキテクチャとトレーニング戦略を用いて、ドキュメントのビジュアル特徴から効率的にインデックスを付けることができます。これはQwen2.5-VL-3Bの拡張であり、ColBERTスタイルのテキストと画像の多ベクトル表現を生成します。このモデルは論文ColPali: Efficient Document Retrieval with Vision Language Modelsで紹介され、このリポジトリで最初に公開されました。

これは、8xH100 80GBでper_device_batch_size=128、8エポックでトレーニングされたベースバージョンです。

✨ 主な機能

バージョンの特異性

このモデルは、動的な画像解像度を入力として受け取り、ColPaliのようにアスペクト比を変えずにリサイズしません。最大解像度は、最大768個の画像パッチが作成されるように設定されています。実験によると、画像パッチの量が増えると、メモリ要件は増えますが、明らかな改善が見られます。

このバージョンはcolpali-engine==0.3.9でトレーニングされています。

データ

• ドイツ語と英語：tsystems/vqa_de_en_batch1データセットから取得。
• 多言語データセット：llamaindex/vdr-multilingual-trainから取得。
• 合成データ：openbmb/VisRAG-Ret-Train-Synthetic-dataデータセットから取得。
• ドメイン内VQAデータセット：openbmb/VisRAG-Ret-Train-In-domain-dataデータセットから取得。
• Colpaliデータセット：vidore/colpali_train_setから取得。

モデルトレーニング

パラメータ

モデルは、低ランクアダプター（LoRA）を使用してトレーニングされます。言語モデルのトランスフォーマーレイヤーと、最後にランダムに初期化された投影レイヤーに対して、alpha=128 と r=128 を設定し、paged_adamw_8bitオプティマイザーを使用します。8xH100 GPU設定で分散データ並列（accelerate経由）でトレーニングし、学習率は2e-4で線形減衰、1%のウォームアップステップを使用し、各デバイスのバッチサイズはbfloat16形式で128です。

📦 インストール

pip install git+https://github.com/illuin-tech/colpali
pip install transformers==4.49.0
pip install flash-attn --no-build-isolation

💻 使用例

基本的な使用法

import torch
from PIL import Image

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model = ColQwen2_5.from_pretrained(
        "tsystems/colqwen2.5-3b-multilingual-v1.0",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",  # or "mps" if on Apple Silicon
    ).eval()
processor = ColQwen2_5_Processor.from_pretrained("tsystems/colqwen2.5-3b-multilingual-v1.0")

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

📚 ドキュメント

制限事項

• 焦点：このモデルは主にPDFタイプのドキュメントと高リソース言語に焦点を当てているため、他のドキュメントタイプや低リソース言語への汎化能力が制限される可能性があります。
• サポート：このモデルはColBERTの遅延相互作用メカニズムに由来する多ベクトル検索に依存しているため、ネイティブの多ベクトルサポートがない一般的なベクトル検索フレームワークに適応させるにはエンジニアリングの努力が必要になる場合があります。

📄 ライセンス

ColQwen2.5のビジュアル言語バックボーンモデル（Qwen2.5-VL）はapache2.0ライセンスの下にあります。モデルに付属するアダプターはMITライセンスの下にあります。

引用

もしあなたがこの組織のモデルを研究で使用する場合は、以下のように元の論文を引用してください。

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

• 開発元: T-Systems International

情報テーブル

| 属性 | 詳細 |
|------|------|
| モデルタイプ | 多言語ビジュアルリトリーバ |
| 学習データ | openbmb/VisRAG-Ret-Train-Synthetic-data、openbmb/VisRAG-Ret-Train-In-domain-data、tsystems/vqa_de_en_batch1、vidore/colpali_train_set、llamaindex/vdr-multilingual-train、Metric-AI/tabfquad_train_set |
| 言語 | 英語、フランス語、スペイン語、イタリア語、ドイツ語 |
| ベースモデル | Qwen/Qwen2.5-VL-3B-Instruct |
| タグ | マルチモーダル埋め込み、多言語埋め込み、テキストからビジュアルドキュメント（T→VD）検索 |
| ライブラリ名 | transformers |
| パイプラインタグ | ビジュアルドキュメント検索 |