Moondream2 Llamafile

🚀 Moondream2 Llamafile項目

本項目為 moondream2 生成了 llamafile。藉助該項目，你可以更便捷地使用 moondream2 模型。

🚀 快速開始

運行步驟（適用於 macOS 和 Linux）

1. 下載 moondream2.llamafile 文件。
2. 執行命令 chmod +x moondream2.llamafile，使文件具備可執行權限。
3. 執行命令 ./moondream2.llamafile，啟動 llama.cpp 服務器。

版本信息

1. Q5_M
2. Q8_0

根據簡短測試，Q8 版本表現更佳。

✨ 主要特性

原模型介紹

moondream2 是一款小型視覺語言模型，專為在邊緣設備上高效運行而設計。你可以查看 GitHub 倉庫 獲取詳細信息，也可以在 Hugging Face Space 上進行試用。

模型基準測試

💻 使用示例

基礎用法

pip install transformers einops

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

model_id = "vikhyatk/moondream2"
revision = "2024-04-02"
model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True, revision=revision
)
tokenizer = AutoTokenizer.from_pretrained(model_id, revision=revision)

image = Image.open('<IMAGE_PATH>')
enc_image = model.encode_image(image)
print(model.answer_question(enc_image, "Describe this image.", tokenizer))

由於模型會定期更新，建議你像上述示例一樣將模型版本固定為特定的發佈版本。

📄 許可證

本項目採用 apache-2.0 許可證。

致謝

特別感謝 @jartine 和 @vikhyat 分別在 llamafile 和 moondream 方面所做的工作。

信息表格