Qwen2 VL 72B Instruct GGUF

🚀 Qwen2-VL-72B-Instruct-GGUF

このプロジェクトは、Qwen2-VL-72B-InstructモデルのGGUF量子化バージョンを提供しています。LlamaEdgeを使って実行でき、マルチモーダルな画像テキストからテキストへの変換をサポートしています。

🚀 クイックスタート

LlamaEdgeを使ったモデルの実行

• LlamaEdgeバージョン：v0.16.0
• プロンプトテンプレート
  • プロンプトタイプ：qwen2-vision
  • プロンプト文字列

    <|im_start|>system
    {system_prompt}<|im_end|>
    <|im_start|>user
    <|vision_start|>{image_placeholder}<|vision_end|>{user_prompt}<|im_end|>
    <|im_start|>assistant
    

• コンテキストサイズ：128000
• LlamaEdgeサービスとして実行する

  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Qwen2-VL-72B-Instruct-Q5_K_M.gguf \
    llama-api-server.wasm \
    --model-name Qwen2-VL-72B-Instruct \
    --prompt-template qwen2-vision \
    --llava-mmproj Qwen2-VL-72B-Instruct-vision-encoder.gguf \
    --ctx-size 128000
  

✨ 主な機能

• マルチモーダル対応：このモデルはマルチモーダルモデルで、画像とテキストの入力を処理し、テキスト結果を出力することができます。
• 複数の量子化オプション：様々なビット数の量子化バージョンを提供しており、必要に応じてモデルのサイズと品質をトレードオフすることができます。

📚 ドキュメント

オリジナルモデル

オリジナルモデルはQwen/Qwen2-VL-72B-Instruct です。

量子化されたGGUFモデル

llama.cpp b4329を使って量子化しました

📄 ライセンス

このプロジェクトで使用されているライセンスはその他 で、ライセンス名はtongyi-qianwenです。