Qwen2.5 VL 7B Instruct GGUF

🚀 Qwen2.5-VL-7B-Instruct

Qwen2.5-VL-7B-Instructは、画像とテキストを入力としてテキストを出力するマルチモーダルモデルです。特定の手順を用いて変換と量子化が行われています。

🚀 クイックスタート

このモデルは、HimariO's fork を使用して この手順 に従って変換と量子化が行われています。IMatrixは使用されていません。

推論を実行するには現在このforkが必要であり、これらのチェックポイントが将来のビルドで動作することは保証されていません。一時的なビルドは こちら から入手できます。執筆時点で最新のテスト済みビルドは qwen25-vl-b4899-bc4163b です。

編集:

2025年4月1日現在、koboldcpp に推論サポートが追加されました。

オリジナルモデル

💻 使用例

基本的な使用法

./llama-qwen2vl-cli -m Qwen2.5-VL-7B-Instruct-Q4_K_M.gguf --mmproj qwen2.5-vl-7b-instruct-vision-f16.gguf -p "Please describe this image." --image ./image.jpg

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。