Moondream2

🚀 Moondream

Moondreamは、どこでも効率的に動作するように設計された小型のビジョン言語モデルです。このモデルは、画像とテキストを入力として受け取り、テキストを出力することができます。

ウェブサイト / デモ / GitHub

このリポジトリには、Moondreamの最新リリース（2025-04-14）と過去のリリースが含まれています。モデルは頻繁に更新されるため、本番アプリケーションで使用する場合は、以下に示すようにリビジョンを指定することをお勧めします。

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

model = AutoModelForCausalLM.from_pretrained(
    "vikhyatk/moondream2",
    revision="2025-04-14",
    trust_remote_code=True,
    # Uncomment to run on GPU.
    # device_map={"": "cuda"}
)

# Captioning
print("Short caption:")
print(model.caption(image, length="short")["caption"])

print("\nNormal caption:")
for t in model.caption(image, length="normal", stream=True)["caption"]:
    # Streaming generation example, supported for caption() and detect()
    print(t, end="", flush=True)
print(model.caption(image, length="normal"))

# Visual Querying
print("\nVisual query: 'How many people are in the image?'")
print(model.query(image, "How many people are in the image?")["answer"])

# Object Detection
print("\nObject detection: 'face'")
objects = model.detect(image, "face")["objects"]
print(f"Found {len(objects)} face(s)")

# Pointing
print("\nPointing: 'person'")
points = model.point(image, "person")["points"]
print(f"Found {len(points)} person(s)")

📚 ドキュメント

変更履歴

2025-04-15 (完全なリリースノート)

1. チャート理解能力の向上（ChartQAが74.8から77.5に、PoTを使うと82.2に向上）
2. 繰り返し出力を減らすために、温度設定とニュークリアスサンプリングを追加
3. ドキュメントとテーブルのOCR精度の向上（「Transcribe the text」または「Transcribe the text in natural reading order」というプロンプトを使用）
4. オブジェクト検出がドキュメントレイアウト検出（図、数式、テキストなど）をサポート
5. UI理解能力の向上（ScreenSpot F1@0.5が53.3から60.3に向上）
6. テキスト理解能力の向上（DocVQAが76.5から79.3に、TextVQAが74.6から76.3に向上）

2025-03-27 (完全なリリースノート)

1. 長文キャプション生成のサポートを追加
2. オープンボキャブラリの画像タグ付けをサポート
3. カウント精度の向上（例：CountBenchQAが80から86.4に向上）
4. テキスト理解能力の向上（例：OCRBenchが58.3から61.2に向上）
5. オブジェクト検出能力の向上、特に小さいオブジェクトに対して（例：COCOが30.5から51.2に向上）
6. マルチバイトユニコード文字に影響するトークンストリーミングのバグを修正
7. HF Transformers実装でgpt-fastスタイルのcompile()をサポート

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。