Nomic Embed Multimodal 3b

🚀 Nomic Embed Multimodal 3B: 最先端のビジュアルドキュメント検索

nomic-embed-multimodal-3b は、ビジュアルドキュメント検索タスクで優れた性能を発揮する、最先端の高密度マルチモーダル埋め込みモデルです。

• 高性能：Vidore-v2で58.8のNDCG@5を達成し、同サイズの他の高密度マルチモーダル埋め込みモデルを上回ります。
• 統一的なテキストと画像のエンコード：複雑な前処理を必要とせず、テキストと画像を直接エンコードします。
• 高度なアーキテクチャ：30億パラメータのマルチモーダル埋め込みモデルです。
• オープンウェイト：研究用途でモデルのウェイトを利用できます。

✨ 主な機能

性能

モデルアーキテクチャ

• 総パラメータ：30億
• 学習アプローチ：Qwen2.5-VL 3B Instructからファインチューニング
• アーキテクチャタイプ：テキストと画像の入力処理を統一したビジョン言語モデル
• 主要な革新点：
  • 同じソースからのサンプリングにより、より難しいバッチ内の負例を作成
  • ポジティブ認識技術を用いたハードネガティブマイニング

RAGワークフローとの統合

Nomic Embed Multimodal 3Bは、Retrieval Augmented Generation (RAG) ワークフローとシームレスに統合できます。

1. 直接的なドキュメント埋め込み：OCRや複雑な処理をスキップして、ドキュメントのページ画像を直接埋め込みます。
2. 高速な処理：前処理ステップを省略することで、より迅速なインデックス作成が可能です。
3. より完全な情報：単一の埋め込みでテキストとビジュアルの両方の手がかりを捕捉します。
4. 簡単な実装：テキストと画像の両方に同じAPIを使用できます。

推奨される使用例

このモデルは、従来のテキストのみのシステムにとって難しい実世界のドキュメント検索シナリオをうまく処理します。

• 研究論文：方程式、図、表を捕捉します。
• 技術文書：コードブロック、フローチャート、スクリーンショットをエンコードします。
• 製品カタログ：画像、仕様、価格表を表現します。
• 財務報告：チャート、グラフ、数値データを埋め込みます。
• 視覚的に豊富なコンテンツ：レイアウトとビジュアル情報が重要な場合に有効です。
• 多言語ドキュメント：ビジュアルコンテキストが重要な手がかりを提供する場合に役立ちます。

学習の詳細

Nomic Embed Multimodal 3Bは、いくつかの重要な革新を通じて開発されました。

1. 同じソースからのサンプリング：同じデータセットソースからのサンプリングを強制することで、より難しいバッチ内の負例を作成し、モデルがデータセットのアーティファクトを学習するのを防ぎます。
2. ハードネガティブマイニング：初期モデルを使用して各クエリの上位k個の近傍を検索し、これらのハードネガティブを学習に組み込みます。
3. ポジティブ認識ハードネガティブマイニング：NV-Retrieverで導入された技術を使用して、誤った負例を減らします。

📦 インストール

nomic-embed-multimodal-3b を使用するには、ソースから colpali をインストールしてください。

pip install git+https://github.com/illuin-tech/colpali.git

💻 使用例

基本的な使用法

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import BiQwen2_5, BiQwen2_5_Processor

model_name = "nomic-ai/nomic-embed-multimodal-3b"

model = BiQwen2_5.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()

processor = BiQwen2_5_Processor.from_pretrained(model_name)

# Your inputs
images = [
    Image.new("RGB", (128, 128), color="white"),
    Image.new("RGB", (64, 32), color="black"),
]
queries = [
    "What is the organizational structure for our R&D department?",
    "Can you provide a breakdown of last year’s financial performance?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score(list(torch.unbind(query_embeddings)), list(torch.unbind(image_embeddings)))

🔧 技術詳細

制限事項

• 非標準的なレイアウトや独特なビジュアル要素を持つドキュメントを処理する際には、性能が異なる場合があります。
• 複数の言語を扱えますが、英語のコンテンツで最も高い性能を発揮します。
• 非常に大きなまたは複雑なドキュメントを処理する場合は、小さなチャンクに分割する必要がある場合があります。
• 手書き文字や高度にスタイル化されたフォントを含むドキュメントでは、性能が低下する可能性があります。

📄 ライセンス

コミュニティへの参加

• Nomic Embedエコシステム: https://www.nomic.ai/embed
• ウェブサイト: https://nomic.ai
• Twitter: https://twitter.com/nomic_ai
• Discord: https://discord.gg/myY5YDR8z8

引用

このモデルがあなたの研究やアプリケーションで役立った場合は、以下を引用してください。

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}
@misc{ma2024unifyingmultimodalretrievaldocument,
      title={Unifying Multimodal Retrieval via Document Screenshot Embedding}, 
      author={Xueguang Ma and Sheng-Chieh Lin and Minghan Li and Wenhu Chen and Jimmy Lin},
      year={2024},
      eprint={2406.11251},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2406.11251}, 
}
@misc{nomicembedmultimodal2025,
  title={Nomic Embed Multimodal: Interleaved Text, Image, and Screenshots for Visual Document Retrieval},
  author={Nomic Team},
  year={2025},
  publisher={Nomic AI},
  url={https://nomic.ai/blog/posts/nomic-embed-multimodal},
}

モデル情報