Nomic Embed Multimodal 7b

🚀 Nomic Embed Multimodal 7B: 最先端のビジュアルドキュメント検索

nomic-embed-multimodal-7b は、ビジュアルドキュメント検索タスクで卓越した最先端の密なマルチモーダル埋め込みモデルです。

• 高い性能：Vidore-v2で58.8 NDCG@5を達成し、他のすべての密なマルチモーダル埋め込みモデルを上回ります。
• 統一されたテキストと画像のエンコーディング：複雑な前処理なしで、テキストと画像を直接エンコードします。
• 高度なアーキテクチャ：70億パラメータのマルチモーダル埋め込みモデルです。
• 完全なオープンソース：モデルの重み、学習データ、コードが公開されています。

🚀 クイックスタート

nomic-embed-multimodal-7b を使用するには、ソースから colpali をインストールしてください。

pip install git+https://github.com/illuin-tech/colpali.git

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import BiQwen2_5, BiQwen2_5_Processor

model_name = "nomic-ai/nomic-embed-multimodal-7b"

model = BiQwen2_5.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # or "mps" if on Apple Silicon
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()

processor = BiQwen2_5_Processor.from_pretrained(model_name)

# Your inputs
images = [
    Image.new("RGB", (128, 128), color="white"),
    Image.new("RGB", (64, 32), color="black"),
]
queries = [
    "What is the organizational structure for our R&D department?",
    "Can you provide a breakdown of last year’s financial performance?",
]

# Process the inputs
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score(list(torch.unbind(query_embeddings)), list(torch.unbind(image_embeddings)))

✨ 主な機能

性能

モデルアーキテクチャ

• 総パラメータ数：70億
• 学習アプローチ：Qwen2.5-VL 7B Instructからファインチューニング
• アーキテクチャタイプ：テキストと画像の入力処理を統一したビジョン言語モデル
• 主要な革新点：
  • 同じソースからのサンプリングにより、バッチ内の難しいネガティブサンプルを作成
  • ポジティブを考慮した技術を用いた難しいネガティブサンプルのマイニング

RAGワークフローとの統合

Nomic Embed Multimodal 7Bは、Retrieval Augmented Generation (RAG) ワークフローとシームレスに統合できます。

1. 直接的なドキュメント埋め込み：OCRや複雑な処理をスキップして、ドキュメントのページ画像を直接埋め込みます。
2. 高速な処理：前処理ステップを省略することで、より迅速なインデックス作成が可能です。
3. より完全な情報：単一の埋め込みでテキストとビジュアルの両方の手がかりを捉えます。
4. 簡単な実装：テキストと画像の両方に同じAPIを使用できます。

推奨使用例

このモデルは、従来のテキストのみのシステムにとって難しい実世界のドキュメント検索シナリオをうまく処理します。

• 研究論文：方程式、図、表を捉えます。
• 技術文書：コードブロック、フローチャート、スクリーンショットをエンコードします。
• 製品カタログ：画像、仕様、価格表を表現します。
• 財務報告：チャート、グラフ、数値データを埋め込みます。
• 視覚的に豊富なコンテンツ：レイアウトやビジュアル情報が重要な場合に有効です。
• 多言語ドキュメント：ビジュアルコンテキストが重要な手がかりを提供する場合に役立ちます。

学習の詳細

Nomic Embed Multimodal 7Bは、いくつかの重要な革新を通じて開発されました。

1. 同じソースからのサンプリング：同じデータセットソースからのサンプリングを強制することで、バッチ内の難しいネガティブサンプルを作成し、モデルがデータセットのアーティファクトを学習するのを防ぎます。
2. 難しいネガティブサンプルのマイニング：初期モデルを使用して、各クエリに対する上位k個の近傍を検索し、これらの難しいネガティブサンプルを学習に組み込みます。
3. ポジティブを考慮した難しいネガティブサンプルのマイニング：NV-Retrieverで導入された技術を用いて、誤ったネガティブを減らします。

制限事項

• 非定型のレイアウトや異常なビジュアル要素を持つドキュメントを処理する際には、性能が異なる場合があります。
• 複数の言語を扱えますが、英語のコンテンツに対する性能が最も高いです。
• 非常に大きいまたは複雑なドキュメントを処理する場合は、小さなチャンクに分割する必要がある場合があります。
• 手書き文字や非常にスタイリッシュなフォントのドキュメントに対する性能は低下する場合があります。

📚 ドキュメント

モデル情報

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

コミュニティへの参加

• Nomic Embedエコシステム: https://www.nomic.ai/embed
• ウェブサイト: https://nomic.ai
• Twitter: https://twitter.com/nomic_ai
• Discord: https://discord.gg/myY5YDR8z8

引用

このモデルがあなたの研究やアプリケーションで役立つ場合、以下を引用してください。

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}
@misc{ma2024unifyingmultimodalretrievaldocument,
      title={Unifying Multimodal Retrieval via Document Screenshot Embedding}, 
      author={Xueguang Ma and Sheng-Chieh Lin and Minghan Li and Wenhu Chen and Jimmy Lin},
      year={2024},
      eprint={2406.11251},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2406.11251}, 
}
@misc{nomicembedmultimodal2025,
  title={Nomic Embed Multimodal: Interleaved Text, Image, and Screenshots for Visual Document Retrieval},
  author={Nomic Team},
  year={2025},
  publisher={Nomic AI},
  url={https://nomic.ai/blog/posts/nomic-embed-multimodal},
}