Colnomic Embed Multimodal 7b

🚀 ColNomic Embed Multimodal 7B：领先的视觉文档检索模型

colnomic-embed-multimodal-7b 是一款多向量的先进多模态嵌入模型，在视觉文档检索任务中表现卓越：

• 高性能：在 Vidore-v2 上实现了 62.7 的 NDCG@5，超越了所有其他模型。
• 统一的文本 - 图像编码：无需复杂的预处理，可直接对交错的文本和图像进行编码。
• 先进架构：拥有 70 亿参数的多模态嵌入模型。
• 完全开源：模型权重、训练数据和代码均公开可用。

🚀 快速开始

若要使用 colnomic-embed-multimodal-7b，请从源代码安装 colpali：

pip install git+https://github.com/illuin-tech/colpali.git

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model_name = "nomic-ai/colnomic-embed-multimodal-7b"

model = ColQwen2_5.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # 若使用苹果芯片，可改为 "mps"
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()

processor = ColQwen2_5_Processor.from_pretrained(model_name)

# 输入数据
images = [
    Image.new("RGB", (128, 128), color="white"),
    Image.new("RGB", (64, 32), color="black"),
]
queries = [
    "What is the organizational structure for our R&D department?",
    "Can you provide a breakdown of last year’s financial performance?",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向传播
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

✨ 主要特性

性能卓越

架构优势

• 总参数：70 亿
• 训练方式：基于 Qwen2.5 - VL 7B Instruct 进行微调
• 架构类型：具备统一文本和图像输入处理能力的视觉 - 语言模型
• 关键创新：
  • 同来源采样，以创建更具挑战性的批次内负样本。
  • 提供多向量输出选项，以提升性能。

与 RAG 工作流集成

Nomic Embed Multimodal 7B 可无缝集成到检索增强生成（RAG）工作流中：

1. 直接文档嵌入：直接对文档页面图像进行嵌入，跳过 OCR 和复杂处理。
2. 更快处理速度：消除预处理步骤，实现更快的索引。
3. 更完整信息：在单个嵌入中捕获文本和视觉线索。
4. 简单实现：对文本和图像使用相同的 API。

推荐用例

该模型在处理现实世界的文档检索场景方面表现出色，这些场景对传统的纯文本系统构成挑战：

• 研究论文：捕获方程式、图表和表格。
• 技术文档：对代码块、流程图和截图进行编码。
• 产品目录：表示图像、规格和价格表。
• 财务报告：嵌入图表、图形和数值数据。
• 视觉丰富内容：布局和视觉信息至关重要的场景。
• 多语言文档：视觉上下文提供重要线索的情况。

训练细节

ColNomic Embed Multimodal 7B 通过以下关键创新得以开发：

1. 同来源采样：强制从同一数据集来源进行采样，创建更具挑战性的批次内负样本，防止模型学习数据集的人工痕迹。
2. 多向量配置：提供多向量变体，其性能优于密集变体。

局限性

• 处理具有非常规布局或不寻常视觉元素的文档时，性能可能会有所不同。
• 虽然支持多种语言，但在英语内容上的性能最强。
• 处理非常大或复杂的文档时，可能需要将其分割成较小的块。
• 处理包含手写体或高度风格化字体的文档时，性能可能会下降。

📦 安装指南

若要使用 colnomic-embed-multimodal-7b，请从源代码安装 colpali：

pip install git+https://github.com/illuin-tech/colpali.git

💻 使用示例

基础用法

import torch
from PIL import Image
from transformers.utils.import_utils import is_flash_attn_2_available

from colpali_engine.models import ColQwen2_5, ColQwen2_5_Processor

model_name = "nomic-ai/colnomic-embed-multimodal-7b"

model = ColQwen2_5.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # 若使用苹果芯片，可改为 "mps"
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()

processor = ColQwen2_5_Processor.from_pretrained(model_name)

# 输入数据
images = [
    Image.new("RGB", (128, 128), color="white"),
    Image.new("RGB", (64, 32), color="black"),
]
queries = [
    "What is the organizational structure for our R&D department?",
    "Can you provide a breakdown of last year’s financial performance?",
]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向传播
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

📚 详细文档

加入 Nomic 社区

• Nomic Embed 生态系统：https://www.nomic.ai/embed
• 网站：https://nomic.ai
• Twitter：https://twitter.com/nomic_ai
• Discord：https://discord.gg/myY5YDR8z8

引用信息

如果您发现此模型在您的研究或应用中有用，请考虑引用：

@misc{faysse2024colpaliefficientdocumentretrieval,
  title={ColPali: Efficient Document Retrieval with Vision Language Models}, 
  author={Manuel Faysse and Hugues Sibille and Tony Wu and Bilel Omrani and Gautier Viaud and Céline Hudelot and Pierre Colombo},
  year={2024},
  eprint={2407.01449},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2407.01449}, 
}
@misc{ma2024unifyingmultimodalretrievaldocument,
      title={Unifying Multimodal Retrieval via Document Screenshot Embedding}, 
      author={Xueguang Ma and Sheng-Chieh Lin and Minghan Li and Wenhu Chen and Jimmy Lin},
      year={2024},
      eprint={2406.11251},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2406.11251}, 
}
@misc{nomicembedmultimodal2025,
  title={Nomic Embed Multimodal: Interleaved Text, Image, and Screenshots for Visual Document Retrieval},
  author={Nomic Team},
  year={2025},
  publisher={Nomic AI},
  url={https://nomic.ai/blog/posts/nomic-embed-multimodal},
}

📄 许可证

本项目采用 Apache - 2.0 许可证。

📦 模型信息