Qwen2 VL 2B Instruct GGUF

🚀 Qwen2-VL-2B-Instruct-GGUF

このプロジェクトは、Qwen/Qwen2-VL-2B-Instruct モデルを量子化した GGUF 形式のモデルを提供し、LlamaEdge と連携して実行することができます。

🚀 クイックスタート

オリジナルモデル

元のモデルは Qwen/Qwen2-VL-2B-Instruct です。

LlamaEdge での実行

• LlamaEdge バージョン: v0.16.0

• プロンプトテンプレート

  • プロンプトタイプ: qwen2-vision
  • プロンプト文字列

    <|im_start|>system
    {system_prompt}<|im_end|>
    <|im_start|>user
    <|vision_start|>{image_placeholder}<|vision_end|>{user_prompt}<|im_end|>
    <|im_start|>assistant
    

• コンテキストサイズ: 32000

• LlamaEdge サービスとして実行

  wasmedge --dir .:. \
    --nn-preload default:GGML:AUTO:Qwen2-VL-2B-Instruct-Q5_K_M.gguf \
    llama-api-server.wasm \
    --model-name Qwen2-VL-2B-Instruct \
    --prompt-template qwen2-vision \
    --llava-mmproj Qwen2-VL-2B-Instruct-vision-encoder.gguf \
    --ctx-size 32000
  

📦 量子化された GGUF モデル

llama.cpp b4329 で量子化されました

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で提供されています。