Qwen2.5-VL-32B-Instructオープンソースマルチモーダルモデル - 画像理解とテキスト生成を無料で実現

ホーム

Qwen Qwen2.5 VL 32B Instruct GGUF

bartowskiによって開発

Qwen2.5-VL-32B-Instructは32Bパラメータ規模のマルチモーダル視覚言語モデルで、画像理解とテキスト生成タスクをサポートします。

テキスト生成画像英語オープンソースライセンス:Apache-2.0 #マルチモーダル指令微調整 #高精度量子化 #視覚言語理解

ダウンロード数 2,782

リリース時間 : 3/27/2025

モデル概要

このモデルはQwen2.5-VL-32B-Instructの量子化バージョンで、llama.cppツールを使用して量子化処理が行われ、さまざまなハードウェア環境に対応するための複数の量子化タイプを提供します。

モデル特徴

複数の量子化タイプのサポート

bf16からIQ2_XXSまでの複数の量子化タイプを提供し、さまざまなハードウェアとパフォーマンス要件を満たします。

オンライン再パッケージング重み

ARMとAVXマシンのパフォーマンスを自動的に最適化するオンライン再パッケージング機能をサポートします。

高品質の量子化

imatrixオプションを使用して量子化ファイルを生成し、モデルの品質を保証します。

多プラットフォーム互換性

LM Studio、llama.cppおよびllama.cppに基づくプロジェクトで実行できます。

モデル能力

画像理解

マルチモーダル対話

テキスト生成

視覚質問応答

使用事例

マルチモーダルインタラクション

画像説明生成

入力画像に基づいて詳細な説明を生成します。

視覚質問応答

画像内容に関する自然言語の質問に回答します。

コンテンツ作成

画像とテキストのコンテンツ生成

視覚入力に基づいて関連するテキストコンテンツを生成します。

🚀 QwenによるQwen2.5-VL-32B-InstructのLlamacpp imatrix量子化

このプロジェクトは、llama.cpp のリリース b5284 を使用して、Qwen2.5-VL-32B-Instructモデルの量子化を行っています。元のモデルはこちらです。全ての量子化は、ここのデータセットを用いて、imatrixオプションで行われています。

これらの量子化モデルは、LM Studio で実行することができます。また、llama.cpp や他のllama.cppベースのプロジェクトで直接実行することも可能です。

🚀 クイックスタート

プロンプトフォーマット

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

新機能

最新のllama.cppに更新されています。

ファイルのダウンロード

以下のリンクから、必要なファイル（ブランチ全体ではなく）をダウンロードできます。

ファイル名	量子化タイプ	ファイルサイズ	分割	説明
Qwen2.5-VL-32B-Instruct-bf16.gguf	bf16	65.54GB	true	完全なBF16重み。
Qwen2.5-VL-32B-Instruct-Q8_0.gguf	Q8_0	34.82GB	false	非常に高品質で、通常は必要ありませんが、利用可能な最大の量子化。
Qwen2.5-VL-32B-Instruct-Q6_K_L.gguf	Q6_K_L	27.26GB	false	埋め込みと出力の重みにQ8_0を使用。非常に高品質で、ほぼ完璧で、おすすめ。
Qwen2.5-VL-32B-Instruct-Q6_K.gguf	Q6_K	26.89GB	false	非常に高品質で、ほぼ完璧で、おすすめ。
Qwen2.5-VL-32B-Instruct-Q5_K_L.gguf	Q5_K_L	23.74GB	false	埋め込みと出力の重みにQ8_0を使用。高品質で、おすすめ。
Qwen2.5-VL-32B-Instruct-Q5_K_M.gguf	Q5_K_M	23.26GB	false	高品質で、おすすめ。
Qwen2.5-VL-32B-Instruct-Q5_K_S.gguf	Q5_K_S	22.64GB	false	高品質で、おすすめ。
Qwen2.5-VL-32B-Instruct-Q4_1.gguf	Q4_1	20.64GB	false	レガシーフォーマットで、Q4_K_Sと同様のパフォーマンスですが、Appleシリコンでのトークン/ワットが改善されています。
Qwen2.5-VL-32B-Instruct-Q4_K_L.gguf	Q4_K_L	20.43GB	false	埋め込みと出力の重みにQ8_0を使用。良い品質で、おすすめ。
Qwen2.5-VL-32B-Instruct-Q4_K_M.gguf	Q4_K_M	19.85GB	false	良い品質で、ほとんどのユースケースでのデフォルトサイズ、おすすめ。
Qwen2.5-VL-32B-Instruct-Q4_K_S.gguf	Q4_K_S	18.78GB	false	品質が少し低いですが、より多くのスペースを節約でき、おすすめ。
Qwen2.5-VL-32B-Instruct-Q4_0.gguf	Q4_0	18.71GB	false	レガシーフォーマットで、ARMおよびAVX CPU推論のオンライン再パッキングを提供します。
Qwen2.5-VL-32B-Instruct-IQ4_NL.gguf	IQ4_NL	18.68GB	false	IQ4_XSに似ていますが、少し大きいです。ARM CPU推論のオンライン再パッキングを提供します。
Qwen2.5-VL-32B-Instruct-Q3_K_XL.gguf	Q3_K_XL	17.93GB	false	埋め込みと出力の重みにQ8_0を使用。品質は低いですが使用可能で、低RAM環境に適しています。
Qwen2.5-VL-32B-Instruct-IQ4_XS.gguf	IQ4_XS	17.69GB	false	適度な品質で、Q4_K_Sより小さく、同様のパフォーマンスを持ち、おすすめ。
Qwen2.5-VL-32B-Instruct-Q3_K_L.gguf	Q3_K_L	17.25GB	false	品質は低いですが使用可能で、低RAM環境に適しています。
Qwen2.5-VL-32B-Instruct-Q3_K_M.gguf	Q3_K_M	15.94GB	false	低品質。
Qwen2.5-VL-32B-Instruct-IQ3_M.gguf	IQ3_M	14.81GB	false	中程度の低品質で、Q3_K_Mに匹敵する適度なパフォーマンスを持つ新しい方法。
Qwen2.5-VL-32B-Instruct-Q3_K_S.gguf	Q3_K_S	14.39GB	false	低品質で、おすすめしません。
Qwen2.5-VL-32B-Instruct-IQ3_XS.gguf	IQ3_XS	13.71GB	false	低品質で、適度なパフォーマンスを持つ新しい方法で、Q3_K_Sより少し良い。
Qwen2.5-VL-32B-Instruct-Q2_K_L.gguf	Q2_K_L	13.07GB	false	埋め込みと出力の重みにQ8_0を使用。非常に低品質ですが、意外と使用可能。
Qwen2.5-VL-32B-Instruct-IQ3_XXS.gguf	IQ3_XXS	12.84GB	false	低品質で、適度なパフォーマンスを持つ新しい方法で、Q3量子化に匹敵。
Qwen2.5-VL-32B-Instruct-Q2_K.gguf	Q2_K	12.31GB	false	非常に低品質ですが、意外と使用可能。
Qwen2.5-VL-32B-Instruct-IQ2_M.gguf	IQ2_M	11.26GB	false	比較的低品質ですが、最先端の技術を使用しているため、意外と使用可能。
Qwen2.5-VL-32B-Instruct-IQ2_S.gguf	IQ2_S	10.39GB	false	低品質ですが、最先端の技術を使用しているため、使用可能。
Qwen2.5-VL-32B-Instruct-IQ2_XS.gguf	IQ2_XS	9.96GB	false	低品質ですが、最先端の技術を使用しているため、使用可能。
Qwen2.5-VL-32B-Instruct-IQ2_XXS.gguf	IQ2_XXS	9.03GB	false	非常に低品質ですが、最先端の技術を使用しているため、使用可能。

📦 インストール

huggingface-cliを使用したダウンロード

ダウンロード手順を表示するにはクリック

まず、hugginface-cliがインストールされていることを確認してください。

pip install -U "huggingface_hub[cli]"

次に、ダウンロードしたい特定のファイルを指定できます。

huggingface-cli download bartowski/Qwen_Qwen2.5-VL-32B-Instruct-GGUF --include "Qwen_Qwen2.5-VL-32B-Instruct-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。これらをすべてローカルフォルダにダウンロードするには、次のコマンドを実行します。

huggingface-cli download bartowski/Qwen_Qwen2.5-VL-32B-Instruct-GGUF --include "Qwen_Qwen2.5-VL-32B-Instruct-Q8_0/*" --local-dir ./

新しいローカルディレクトリ（Qwen_Qwen2.5-VL-32B-Instruct-Q8_0）を指定するか、すべてをその場所にダウンロードすることができます（./）。

🔧 技術詳細

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされており、ARMおよびAVXマシンでのパフォーマンスを向上させるために、1回のパスでより多くのデータをロードしていました。

しかし、現在は重みの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、自動的にその場で行われます。

llama.cppビルド b4282 以降、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。

さらに、少し良い品質を得たい場合は、このPR のおかげでIQ4_NLを使用することができます。これはARM用の重みを再パッキングしますが、現在は4_4のみです。ロード時間は遅くなる可能性がありますが、全体的な速度が向上します。

Q4_0_X_X情報を表示するにはクリック（非推奨）

このセクションは、オンライン再パッキングを使用したQ4_0の潜在的な理論上のパフォーマンス向上を示すために残しています。

AVX2システム（EPYC7702）でのベンチマークを表示するにはクリック

モデル	サイズ	パラメータ	バックエンド	スレッド	テスト	t/s	% (vs Q4_0)
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%