Granite Vision 3.3 2b Embedding

🚀 granite-vision-3.3-2b-embedding

Granite-vision-3.3-2b-embedding是一個高效的嵌入模型，基於granite-vision-3.3-2b構建。該模型專為多模態文檔檢索而設計，可對包含表格、圖表、信息圖和複雜佈局的文檔進行查詢。模型會生成頁面的ColBERT風格多向量表示。通過消除基於OCR的文本提取需求，granite-vision-3.3-2b-embedding有助於簡化和加速RAG管道。

🚀 快速開始

安裝

pip install -q torch torchvision torchaudio
pip install transformers==4.50

代碼運行示例

from io import BytesIO

import requests
import torch
from PIL import Image
from transformers import AutoProcessor, AutoModel

device = "cuda" if torch.cuda.is_available() else "cpu"
model_name = "ibm-granite/granite-vision-3.3-2b-embedding"
model = AutoModel.from_pretrained(model_name, trust_remote_code=True, torch_dtype=torch.float16).to(device).eval()
processor = AutoProcessor.from_pretrained(model_name, trust_remote_code=True)

# ─────────────────────────────────────────────
# Inputs: Image + Text
# ─────────────────────────────────────────────
image_url = "https://huggingface.co/datasets/mishig/sample_images/resolve/main/tiger.jpg"
print("\nFetching image...")
image = Image.open(BytesIO(requests.get(image_url).content)).convert("RGB")

text = "A photo of a tiger"
print(f"Image and text inputs ready.")

# Process both inputs
print("Processing inputs...")
image_inputs = processor.process_images([image])
text_inputs = processor.process_queries([text])

# Move to correct device
image_inputs = {k: v.to(device) for k, v in image_inputs.items()}
text_inputs = {k: v.to(device) for k, v in text_inputs.items()}

# ─────────────────────────────────────────────
# Run Inference
# ─────────────────────────────────────────────
with torch.no_grad():
    print("🔍 Getting image embedding...")
    img_emb = model(**image_inputs)

    print("✍️ Getting text embedding...")
    txt_emb = model(**text_inputs)

# ─────────────────────────────────────────────
# Score the similarity
# ─────────────────────────────────────────────
print("Scoring similarity...")
similarity = processor.score(txt_emb, img_emb, batch_size=1, device=device)

print("\n" + "=" * 50)
print(f"📊 Similarity between image and text: {similarity.item():.4f}")
print("=" * 50)

在MM RAG中使用granite-vision-3.3-2b-embedding

有關使用granite-vision-3.3-2b-embedding進行MM-RAG的示例，請參考此筆記本。

✨ 主要特性

• 專為多模態文檔檢索設計，可處理包含表格、圖表、信息圖和複雜佈局的文檔。
• 生成ColBERT風格的多向量頁面表示。
• 無需基於OCR的文本提取，可簡化和加速RAG管道。

📚 詳細文檔

評估

我們使用兩個基準測試對granite-vision-3.3-2b-embedding與其他參數範圍在1B - 4B的頂級colBERT風格多模態嵌入模型進行了評估：Vidore2和Real-MM-RAG-Bench，這些基準測試旨在專門解決複雜的多模態文檔檢索任務。

NDCG@5 - ViDoRe V2

NDCG@5 - REAL-MM-RAG

模型架構

granite-vision-3.3-2b-embedding的架構遵循ColPali(https://arxiv.org/abs/2407.01449)方法，由以下組件組成：

1. 視覺語言模型：granite-vision-3.3-2b (https://huggingface.co/ibm-granite/granite-vision-3.3-2b)。
2. 投影層：線性層，將視覺語言模型的隱藏層維度投影到128，併為每個圖像輸出729個嵌入向量。

評分使用基於MaxSim的後期交互機制計算。

訓練數據

我們的訓練數據完全來自DocFM。DocFM是IBM的一個大規模綜合數據集，包含從Common Crawl、Wikipedia和ESG（環境、社會和治理）報告中提取的8500萬頁獨特PDF文檔。

基礎設施

我們在配備NVIDIA A100 GPU的IBM認知計算集群上訓練granite-vision-3.3-2b-embedding。

倫理考量和侷限性

使用大型視覺和語言模型涉及人們必須瞭解的風險和倫理問題，包括但不限於：偏差和公平性、錯誤信息和自主決策。在這方面，granite-vision-3.3-2b-embedding也不例外。儘管我們的對齊過程包含安全考慮，但模型在某些情況下可能會產生不準確或有偏差的響應。關於倫理問題，所有大語言模型都存在被惡意利用的潛在風險。我們敦促社區以合乎道德的意圖和負責任的方式使用granite-vision-3.3-2b-embedding。

資源

• 📄 Granite Vision技術報告
• 📄 Real-MM-RAG-Bench論文（ACL 2025）
• 📄 Vidore 2論文
• ⭐️ 瞭解Granite的最新更新
• 🚀 通過教程、最佳實踐和提示工程建議開始使用
• 💡 瞭解最新的Granite學習資源

📄 許可證

本項目採用Apache 2.0許可證。