Moondream2

🚀 Moondream

Moondream是一款小型視覺語言模型，旨在能夠在任何地方高效運行。它可以幫助用戶處理圖像和文本相關的任務，為用戶提供便捷的圖像理解和交互體驗。

官網 / 演示 / GitHub

本倉庫包含了Moondream的最新（2025年4月14日）版本，以及歷史版本。該模型會頻繁更新，因此如果您將其用於生產環境，建議按照以下方式指定版本。

🚀 快速開始

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

model = AutoModelForCausalLM.from_pretrained(
    "vikhyatk/moondream2",
    revision="2025-04-14",
    trust_remote_code=True,
    # Uncomment to run on GPU.
    # device_map={"": "cuda"}
)

# Captioning
print("Short caption:")
print(model.caption(image, length="short")["caption"])

print("\nNormal caption:")
for t in model.caption(image, length="normal", stream=True)["caption"]:
    # Streaming generation example, supported for caption() and detect()
    print(t, end="", flush=True)
print(model.caption(image, length="normal"))

# Visual Querying
print("\nVisual query: 'How many people are in the image?'")
print(model.query(image, "How many people are in the image?")["answer"])

# Object Detection
print("\nObject detection: 'face'")
objects = model.detect(image, "face")["objects"]
print(f"Found {len(objects)} face(s)")

# Pointing
print("\nPointing: 'person'")
points = model.point(image, "person")["points"]
print(f"Found {len(points)} person(s)")

📚 詳細文檔

變更日誌

2025年4月15日 (完整發布說明)

1. 提升了圖表理解能力（ChartQA得分從74.8提升至77.5，使用PoT時達到82.2）
2. 增加了溫度採樣和核採樣，以減少重複輸出
3. 改進了文檔和表格的OCR功能（使用“Transcribe the text”或“Transcribe the text in natural reading order”提示）
4. 目標檢測支持文檔佈局檢測（如圖表、公式、文本等）
5. 提升了UI理解能力（ScreenSpot F1@0.5得分從53.3提升至60.3）
6. 提升了文本理解能力（DocVQA得分從76.5提升至79.3，TextVQA得分從74.6提升至76.3）

2025年3月27日 (完整發布說明)

1. 增加了對長描述的支持
2. 支持開放詞彙圖像標籤
3. 提升了計數準確性（例如CountBenchQA得分從80提升至86.4）
4. 提升了文本理解能力（例如OCRBench得分從58.3提升至61.2）
5. 改進了目標檢測，特別是對小目標的檢測（例如COCO得分從30.5提升至51.2）
6. 修復了影響多字節Unicode字符的令牌流生成錯誤
7. HF Transformers實現現在支持gpt-fast風格的compile()

📄 許可證

本項目採用Apache-2.0許可證。