Smolvlm2 2.2B Instruct

🚀 SmolVLM2 2.2B

SmolVLM2-2.2B是一款輕量級多模態模型，專為分析視頻內容而設計。該模型能夠處理視頻、圖像和文本輸入，以生成文本輸出，可用於回答關於媒體文件的問題、比較視覺內容或從圖像中轉錄文本。儘管其體積小巧，視頻推理僅需5.2GB的GPU內存，但在複雜的多模態任務中仍能提供出色的性能。這種高效性使其特別適合計算資源有限的設備端應用。

✨ 主要特性

• 多模態處理：能夠處理視頻、圖像和文本輸入，生成文本輸出。
• 輕量級設計：僅需5.2GB的GPU內存進行視頻推理。
• 高效性能：在複雜的多模態任務中表現出色。
• 適合設備端應用：適用於計算資源有限的場景。

📦 安裝指南

使用transformers庫加載、推理和微調SmolVLM，確保安裝num2words、flash-attn和最新版本的transformers。

💻 使用示例

基礎用法

from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

model_path = "HuggingFaceTB/SmolVLM2-2.2B-Instruct"
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModelForImageTextToText.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    _attn_implementation="flash_attention_2"
).to("cuda")

高級用法

簡單推理

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"},
            {"type": "text", "text": "Can you describe this image?"},
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device, dtype=torch.bfloat16)

generated_ids = model.generate(**inputs, do_sample=False, max_new_tokens=64)
generated_texts = processor.batch_decode(
    generated_ids,
    skip_special_tokens=True,
)
print(generated_texts[0])

視頻推理

messages = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "path_to_video.mp4"},
            {"type": "text", "text": "Describe this video in detail"}
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device, dtype=torch.bfloat16)

generated_ids = model.generate(**inputs, do_sample=False, max_new_tokens=64)
generated_texts = processor.batch_decode(
    generated_ids,
    skip_special_tokens=True,
)

print(generated_texts[0])

多圖像交錯推理

import torch

messages = [
    {
        "role": "user",
        "content": [
          {"type": "text", "text": "What is the similarity between these two images?"},
          {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"},
          {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"},            
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device, dtype=torch.bfloat16)

generated_ids = model.generate(**inputs, do_sample=False, max_new_tokens=64)
generated_texts = processor.batch_decode(
    generated_ids,
    skip_special_tokens=True,
)
print(generated_texts[0])

📚 詳細文檔

模型概述

資源

• 演示：視頻高光生成器
• 博客：博客文章

用途

SmolVLM2可用於多模態（視頻/圖像/文本）任務的推理，輸入包括文本查詢以及視頻或一個或多個圖像。文本和媒體文件可以任意交錯，支持諸如字幕生成、視覺問答和基於視覺內容的故事講述等任務。該模型不支持圖像或視頻生成。

若要針對特定任務微調SmolVLM2，可參考微調教程。

評估

視覺評估

視頻評估

模型優化

文檔未提及具體優化內容。

誤用和超範圍使用

SmolVLM不適用於高風險場景或影響個人福祉和生計的關鍵決策過程。該模型可能會生成看似事實但可能不準確的內容。誤用包括但不限於：

• 禁止用途：
  • 評估或評分個人（如就業、教育、信貸方面）
  • 關鍵自動化決策
  • 生成不可靠的事實內容
• 惡意活動：
  • 垃圾郵件生成
  • 虛假信息傳播
  • 騷擾或虐待
  • 未經授權的監控

許可證

SmolVLM2使用 形狀優化的SigLIP 作為圖像編碼器，SmolLM2 作為文本解碼器。

我們以Apache 2.0許可證發佈SmolVLM2的檢查點。

引用信息

@article{marafioti2025smolvlm,
  title={SmolVLM: Redefining small and efficient multimodal models}, 
  author={Andrés Marafioti and Orr Zohar and Miquel Farré and Merve Noyan and Elie Bakouch and Pedro Cuenca and Cyril Zakka and Loubna Ben Allal and Anton Lozhkov and Nouamane Tazi and Vaibhav Srivastav and Joshua Lochner and Hugo Larcher and Mathieu Morlon and Lewis Tunstall and Leandro von Werra and Thomas Wolf},
  journal={arXiv preprint arXiv:2504.05299},
  year={2025}
}

訓練數據

SmolVLM2最初使用來自十個不同數據集的330萬個樣本進行訓練：LlaVa Onevision、M4-Instruct、Mammoth、LlaVa Video 178K、FineVideo、VideoStar、VRipt、Vista-400K、MovieChat 和 ShareGPT4Video。

各模態數據拆分

各模態數據集詳細切片

文本數據集

多圖像數據集

圖像數據集

視頻數據集

📄 許可證

本項目採用Apache 2.0許可證。