Qwen2.5 VL 32B Instruct GGUF

🚀 Qwen2.5-VL-32B-Instruct

このモデルは、HimariO's fork を使用し、この手順に従って変換および量子化されています。IMatrixは使用されていません。

現在、推論を実行するにはこのforkが必要であり、これらのチェックポイントが将来のビルドで動作することは保証されていません。一時的なビルドはこちらから入手できます。執筆時点で最新のテスト済みビルドは qwen25-vl-b4899-bc4163b です。

編集：

2025年4月1日現在、koboldcppに推論サポートが追加されました。

オリジナルモデル

量子化されていないGGUF

🚀 クイックスタート

このモデルを使用することで、画像とテキストを入力として受け取り、テキストを出力するタスクを実行できます。

💻 使用例

基本的な使用法

./llama-qwen2vl-cli -m Qwen2.5-VL-32B-Instruct-Q4_K_M.gguf --mmproj qwen2.5-vl-32b-instruct-vision-f16.gguf -p "Please describe this image." --image ./image.jpg

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。