Moondream2 Llamafile

🚀 moondream2-llamafile

このプロジェクトは、moondream2 用に生成された llamafile を提供します。エッジデバイスで効率的に動作する小型のビジョン言語モデルである moondream2 を簡単に実行できます。

🚀 クイックスタート

概要

この llamafile は moondream2 用に生成されたものです。@jartine と @vikhyat のそれぞれの作業に感謝いたします。

実行方法 (macOS と Linux)

1. moondream2.llamafile をダウンロードします。
2. 実行可能にするために、以下のコマンドを実行します。

chmod +x moondream2.llamafile

3. llama.cpp サーバーを実行します。

./moondream2.llamafile

✨ 主な機能

バージョン

• Q5_M
• Q8_0

短いテストでは、Q8 の方が明らかに良い結果を示しました。

📚 ドキュメント

オリジナルモデルの詳細

moondream2 は、エッジデバイスで効率的に動作する小型のビジョン言語モデルです。詳細は GitHub リポジトリ をご覧ください。また、Hugging Face Space で試すこともできます。

ベンチマーク

使用方法

まず、必要なライブラリをインストールします。

pip install transformers einops

次に、以下のコードを使用してモデルを実行します。

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

model_id = "vikhyatk/moondream2"
revision = "2024-04-02"
model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True, revision=revision
)
tokenizer = AutoTokenizer.from_pretrained(model_id, revision=revision)

image = Image.open('<IMAGE_PATH>')
enc_image = model.encode_image(image)
print(model.answer_question(enc_image, "Describe this image.", tokenizer))

モデルは定期的に更新されるため、上記のように特定のリリースにモデルバージョンを固定することをおすすめします。

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で提供されています。