Moondream 2b 2025 04 14 4bit

🚀 ムーンドリーム

ムーンドリームは、どこでも効率的に動作するように設計された小型のビジョン言語モデルです。画像とテキストを入力としてテキストを出力することができ、様々なビジョン関連のタスクに対応しています。

公式サイト / デモ / GitHub

🚀 クイックスタート

このリポジトリには、2025年4月14日にリリースされた4-bit版のムーンドリームが含まれています。Nvidia RTX 3090では、2,450 MBのVRAMを使用し、184トークン/秒の速度で実行されます。このバージョンのモデルは量子化認識トレーニング技術を用いて構築されており、メモリ使用量を42％削減しつつ、精度の低下はわずか0.6％に抑えることができました。

このバージョンのモデルに関する詳細な情報は、リリースブログ記事を参照してください。その他のリビジョンやリリース履歴は、こちらで確認できます。

📦 インストール

必要なパッケージをインストールしてください。

pip install pillow torchao

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

model = AutoModelForCausalLM.from_pretrained(
    "moondream/moondream-2b-2025-04-14-4bit",
    trust_remote_code=True,
    device_map={"": "cuda"}
)

# Optional, but recommended when running inference on a large number of
# images since it has upfront compilation cost but significantly speeds
# up inference:
model.model.compile()

# Captioning
print("Short caption:")
print(model.caption(image, length="short")["caption"])

print("\nNormal caption:")
for t in model.caption(image, length="normal", stream=True)["caption"]:
    # Streaming generation example, supported for caption() and detect()
    print(t, end="", flush=True)
print(model.caption(image, length="normal"))

# Visual Querying
print("\nVisual query: 'How many people are in the image?'")
print(model.query(image, "How many people are in the image?")["answer"])

# Object Detection
print("\nObject detection: 'face'")
objects = model.detect(image, "face")["objects"]
print(f"Found {len(objects)} face(s)")

# Pointing
print("\nPointing: 'person'")
points = model.point(image, "person")["points"]
print(f"Found {len(points)} person(s)")

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。