Colsmol 500M

🚀 ColSmolVLM-Instruct-500M: SmolVLM-Instruct-500M をベースに ColBERT 戦略を用いたビジュアルリトリーバ

このモデルは、Vision Language Models (VLMs) に基づく新しいモデルアーキテクチャとトレーニング戦略を用いて、ドキュメントのビジュアル特徴から効率的にインデックスを作成するためのモデルです。SmolVLM を拡張したもので、ColBERT スタイルのテキストと画像のマルチベクトル表現を生成します。このモデルは論文 ColPali: Efficient Document Retrieval with Vision Language Models で紹介され、このリポジトリ で最初に公開されました。

✨ 主な機能

バージョンの特異性

このバージョンは、Colpali リポジトリのコミット b983e40（メインブランチ）でトレーニングされています。データは、論文で説明されている ColPali データと同じです。

モデルトレーニング

データセット

私たちのトレーニングデータセットは、127,460 のクエリ - ページペアで構成されています。これは、公開されている学術データセットのトレーニングセット（63%）と、ウェブクロールした PDF ドキュメントのページから構成され、VLM 生成（Claude - 3 Sonnet）の疑似質問で拡張された合成データセット（37%）で構成されています。トレーニングセットは、デザイン上完全に英語であり、非英語言語へのゼロショット汎化を研究することができます。評価の汚染を防ぐために、ViDoRe とトレーニングセットの両方でマルチページ PDF ドキュメントが使用されていないことを明示的に検証しています。ハイパーパラメータを調整するために、サンプルの 2% で検証セットを作成しています。

注: 多言語データは、言語モデルの事前学習コーパスに存在し、おそらくマルチモーダルトレーニングにも存在します。

パラメータ

特に指定がない限り、モデルは bfloat16 形式でトレーニングされ、低ランクアダプター (LoRA) を使用します。言語モデルのトランスフォーマーレイヤーと、最後にランダムに初期化された投影レイヤーに alpha = 32 と r = 32 を使用し、paged_adamw_8bit オプティマイザーを使用します。4 つの GPU でデータ並列でトレーニングし、学習率は 5e - 4 で線形減衰し、ウォームアップステップは 2.5%、バッチサイズは 8 です。

📦 インストール

colpali - engine がソースから、またはバージョン 0.3.5 以上（現在はリポジトリのメインブランチ）でインストールされていることを確認してください。transformers バージョンは > 4.46.2 である必要があります。

pip install git+https://github.com/illuin-tech/colpali

💻 使用例

基本的な使用法

import torch
from PIL import Image

from colpali_engine.models import ColIdefics3, ColIdefics3Processor

model = ColIdefics3.from_pretrained(
        "vidore/colSmol-500M",
        torch_dtype=torch.bfloat16,
        device_map="cuda:0",
        attn_implementation="flash_attention_2" # or eager
    ).eval()
processor = ColIdefics3Processor.from_pretrained("vidore/colSmol-500M")

# Your inputs
images = [
    Image.new("RGB", (32, 32), color="white"),
    Image.new("RGB", (16, 16), color="black"),
]
queries = [
    "Is attention really all you need?",
    "What is the amount of bananas farmed in Salvador?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

🔧 技術的な制限

• 焦点: このモデルは主に PDF タイプのドキュメントと高リソース言語に焦点を当てているため、他のドキュメントタイプや表現が少ない言語への汎化が制限される可能性があります。
• サポート: このモデルは、ColBERT の後期相互作用メカニズムに由来するマルチベクトル検索に依存しています。これは、ネイティブのマルチベクトルサポートを持たない一般的なベクトル検索フレームワークに適応させるためにエンジニアリング努力が必要になる可能性があります。

📄 ライセンス

ColQwen2 のビジョン言語バックボーンモデル（Qwen2 - VL）は apache2.0 ライセンスの下にあります。モデルに付属するアダプターは MIT ライセンスの下にあります。

お問い合わせ

• Manuel Faysse: manuel.faysse@illuin.tech
• Hugues Sibille: hugues.sibille@illuin.tech
• Tony Wu: tony.wu@illuin.tech

引用

あなたの研究でこの組織のデータセットまたはモデルを使用する場合は、元のデータセットを次のように引用してください。

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}

情報テーブル

| 属性 | 详情 |
|------|------|
| ライブラリ名 | colpali |
| ベースモデル | vidore/ColSmolVLM - Instruct - 500M |
| 言語 | 英語 |
| タグ | colsmolvlm, vidore - experimental, vidore |
| パイプラインタグ | ビジュアルドキュメント検索 |