Colnomic Embed Multimodal 7b

🚀 ColNomic Embed Multimodal 7B: 最先端のビジュアルドキュメント検索

colnomic-embed-multimodal-7b は、マルチベクトルの最先端のマルチモーダル埋め込みモデルで、ビジュアルドキュメント検索タスクで優れた性能を発揮します。

• 高性能：Vidore-v2で62.7 NDCG@5を達成し、他のすべてのモデルを上回ります。
• 統一的なテキストと画像のエンコード：複雑な前処理なしで、テキストと画像を直接エンコードします。
• 高度なアーキテクチャ：70億パラメータのマルチモーダル埋め込みモデルです。
• 完全にオープンソース：モデルの重み、学習データ、コードが公開されています。

✨ 主な機能

モデル情報

性能

📦 インストール

colnomic-embed-multimodal-7b を使用するには、ソースから colpali をインストールしてください。

pip install git+https://github.com/illuin-tech/colpali.git

💻 使用例

基本的な使用法

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model_name = "nomic-ai/colnomic-embed-multimodal-7b"

model = ColQwen2_5.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()

processor = ColQwen2_5_Processor.from_pretrained(model_name)

# Your inputs
images = [
    Image.new("RGB", (128, 128), color="white"),
    Image.new("RGB", (64, 32), color="black"),
]
queries = [
    "What is the organizational structure for our R&D department?",
    "Can you provide a breakdown of last year’s financial performance?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

📚 ドキュメント

モデルアーキテクチャ

• 総パラメータ数：70億
• 学習アプローチ：Qwen2.5-VL 7B Instruct からファインチューニング
• アーキテクチャタイプ：テキストと画像の入力処理を統一したビジョン言語モデル
• 主要な革新点：
  • 同じソースからのサンプリングにより、バッチ内の負例を難しくする
  • パフォーマンス向上のためのマルチベクトル出力オプション

RAGワークフローとの統合

Nomic Embed Multimodal 7Bは、Retrieval Augmented Generation (RAG) ワークフローとシームレスに統合できます。

1. 直接的なドキュメント埋め込み：OCRや複雑な処理をスキップして、ドキュメントのページ画像を直接埋め込む
2. 高速な処理：前処理ステップを省略して、より速くインデックスを作成する
3. より完全な情報：単一の埋め込みでテキストとビジュアルの両方の手がかりをキャプチャする
4. 簡単な実装：テキストと画像の両方に同じAPIを使用する

推奨使用例

このモデルは、従来のテキスト専用システムにとって難しい実世界のドキュメント検索シナリオをうまく処理できます。

• 研究論文：数式、図、表をキャプチャする
• 技術文書：コードブロック、フローチャート、スクリーンショットをエンコードする
• 製品カタログ：画像、仕様、価格表を表現する
• 財務報告：チャート、グラフ、数値データを埋め込む
• 視覚的に豊富なコンテンツ：レイアウトとビジュアル情報が重要な場合
• 多言語ドキュメント：ビジュアルコンテキストが重要な手がかりを提供する場合

学習詳細

ColNomic Embed Multimodal 7Bは、いくつかの重要な革新によって開発されました。

1. 同じソースからのサンプリング：同じデータセットソースからのサンプリングを強制することで、バッチ内の負例を難しくし、モデルがデータセットのアーティファクトを学習するのを防ぎます。
2. マルチベクトル構成：密なバリアントよりも高いパフォーマンスを達成するマルチベクトルバリアントを提供します。

制限事項

• 非標準的なレイアウトや異常なビジュアル要素を持つドキュメントを処理する場合、パフォーマンスが異なる可能性があります。
• 複数の言語を処理できますが、英語のコンテンツで最も強いパフォーマンスを発揮します。
• 非常に大きなまたは複雑なドキュメントを処理する場合は、小さなチャンクに分割する必要があるかもしれません。
• 手書き文字や高度にスタイル化されたフォントのドキュメントでは、パフォーマンスが低下する可能性があります。

コミュニティへの参加

• Nomic Embedエコシステム: https://www.nomic.ai/embed
• ウェブサイト: https://nomic.ai
• Twitter: https://twitter.com/nomic_ai
• Discord: https://discord.gg/myY5YDR8z8

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。

引用

このモデルがあなたの研究やアプリケーションに役立った場合は、以下を引用してください。

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}
@misc{ma2024unifyingmultimodalretrievaldocument,
      title={Unifying Multimodal Retrieval via Document Screenshot Embedding}, 
      author={Xueguang Ma and Sheng-Chieh Lin and Minghan Li and Wenhu Chen and Jimmy Lin},
      year={2024},
      eprint={2406.11251},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2406.11251}, 
}
@misc{nomicembedmultimodal2025,
  title={Nomic Embed Multimodal: Interleaved Text, Image, and Screenshots for Visual Document Retrieval},
  author={Nomic Team},
  year={2025},
  publisher={Nomic AI},
  url={https://nomic.ai/blog/posts/nomic-embed-multimodal},
}