Qwen_Qwen2.5-VL-7B-Instruct-GGUFオープンソースモデル - 画像とテキストの変換などのマルチモーダルアプリケーションを無料でサポート

Qwen Qwen2.5 VL 7B Instruct GGUF

bartowskiによって開発

Qwen2.5-VL-7B-Instructの量子化バージョンで、llama.cppを使用して量子化されており、マルチモーダルタスクをサポートし、画像からテキストへの変換などのアプリケーションシーンに適しています。

テキスト生成画像英語オープンソースライセンス:Apache-2.0 #マルチモーダル理解 #画像からテキストへの変換 #低リソース展開

ダウンロード数 2,056

リリース時間 : 5/8/2025

モデル概要

これはQwen2.5-VL-7B-Instructモデルに基づく量子化バージョンで、マルチモーダルタスクをサポートし、画像からテキストへの変換などのタスクを処理できます。量子化バージョンはさまざまな量子化オプションを提供し、異なるハードウェア環境とニーズに適しています。

モデル特徴

マルチモーダルサポート

画像からテキストへの変換タスクをサポートし、マルチモーダル入力を処理できます。

複数の量子化オプション

BF16からQ2_Kまでのさまざまな量子化オプションを提供し、異なるハードウェア環境とニーズに適しています。

高性能推論

llama.cppを使用して量子化されており、推論性能が最適化されており、ローカルデバイスでの実行に適しています。

モデル能力

画像からテキストへの変換

マルチモーダル処理

テキスト生成

使用事例

コンテンツ生成

画像説明生成

入力された画像に基づいて詳細なテキスト説明を生成します。

正確かつ詳細な画像説明を生成します。

自動化ドキュメント処理

画像からテキストへの変換

画像とテキストを含むドキュメントをプレーンテキスト形式に変換します。

ドキュメント内容を効率的に抽出および変換します。

quantized_by: bartowski pipeline_tag: image-text-to-text language:

en license: apache-2.0 base_model_relation: quantized base_model: Qwen/Qwen2.5-VL-7B-Instruct tags:
multimodal

Qwen2.5-VL-7B-InstructのLlamacpp imatrix量子化 by Qwen

llama.cppのリリースb5317を使用して量子化しました。

オリジナルモデル: https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct

すべての量子化は、こちらのデータセットを使用してimatrixオプションで作成されました。

LM Studioで実行できます。

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行できます。

プロンプト形式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

以下のファイルをダウンロード（ブランチ全体ではなく）:

ファイル名	量子化タイプ	ファイルサイズ	分割	説明
Qwen2.5-VL-7B-Instruct-bf16.gguf	bf16	15.24GB	false	完全なBF16ウェイト。
Qwen2.5-VL-7B-Instruct-Q8_0.gguf	Q8_0	8.10GB	false	非常に高品質、一般的には不要ですが利用可能な最大量子化。
Qwen2.5-VL-7B-Instruct-Q6_K_L.gguf	Q6_K_L	6.52GB	false	埋め込みと出力ウェイトにQ8_0を使用。非常に高品質、ほぼ完璧、推奨。
Qwen2.5-VL-7B-Instruct-Q6_K.gguf	Q6_K	6.25GB	false	非常に高品質、ほぼ完璧、推奨。
Qwen2.5-VL-7B-Instruct-Q5_K_L.gguf	Q5_K_L	5.78GB	false	埋め込みと出力ウェイトにQ8_0を使用。高品質、推奨。
Qwen2.5-VL-7B-Instruct-Q5_K_M.gguf	Q5_K_M	5.44GB	false	高品質、推奨。
Qwen2.5-VL-7B-Instruct-Q5_K_S.gguf	Q5_K_S	5.32GB	false	高品質、推奨。
Qwen2.5-VL-7B-Instruct-Q4_K_L.gguf	Q4_K_L	5.09GB	false	埋め込みと出力ウェイトにQ8_0を使用。良好な品質、推奨。
Qwen2.5-VL-7B-Instruct-Q4_1.gguf	Q4_1	4.87GB	false	レガシー形式、Q4_K_Sと類似の性能ですが、Appleシリコンでトークン/ワットが改善されています。
Qwen2.5-VL-7B-Instruct-Q4_K_M.gguf	Q4_K_M	4.68GB	false	良好な品質、ほとんどのユースケースに適したデフォルトサイズ、推奨。
Qwen2.5-VL-7B-Instruct-Q3_K_XL.gguf	Q3_K_XL	4.57GB	false	埋め込みと出力ウェイトにQ8_0を使用。品質は低いが使用可能、RAMが少ない場合に適しています。
Qwen2.5-VL-7B-Instruct-Q4_K_S.gguf	Q4_K_S	4.46GB	false	品質はやや低いがスペース節約、推奨。
Qwen2.5-VL-7B-Instruct-Q4_0.gguf	Q4_0	4.44GB	false	レガシー形式、ARMおよびAVX CPU推論用にオンライン再パッキングを提供。
Qwen2.5-VL-7B-Instruct-IQ4_NL.gguf	IQ4_NL	4.44GB	false	IQ4_XSと類似ですが、やや大きい。ARM CPU推論用にオンライン再パッキングを提供。
Qwen2.5-VL-7B-Instruct-IQ4_XS.gguf	IQ4_XS	4.22GB	false	良好な品質、Q4_K_Sより小さく類似の性能、推奨。
Qwen2.5-VL-7B-Instruct-Q3_K_L.gguf	Q3_K_L	4.09GB	false	品質は低いが使用可能、RAMが少ない場合に適しています。
Qwen2.5-VL-7B-Instruct-Q3_K_M.gguf	Q3_K_M	3.81GB	false	低品質。
Qwen2.5-VL-7B-Instruct-IQ3_M.gguf	IQ3_M	3.57GB	false	中低品質、Q3_K_Mと比較可能な新しい手法。
Qwen2.5-VL-7B-Instruct-Q2_K_L.gguf	Q2_K_L	3.55GB	false	埋め込みと出力ウェイトにQ8_0を使用。非常に低品質だが驚くほど使用可能。
Qwen2.5-VL-7B-Instruct-Q3_K_S.gguf	Q3_K_S	3.49GB	false	低品質、推奨されません。
Qwen2.5-VL-7B-Instruct-IQ3_XS.gguf	IQ3_XS	3.35GB	false	低品質、新しい手法でQ3_K_Sよりやや優れた性能。
Qwen2.5-VL-7B-Instruct-IQ3_XXS.gguf	IQ3_XXS	3.11GB	false	低品質、新しい手法でQ3量子化と比較可能な性能。
Qwen2.5-VL-7B-Instruct-Q2_K.gguf	Q2_K	3.02GB	false	非常に低品質だが驚くほど使用可能。
Qwen2.5-VL-7B-Instruct-IQ2_M.gguf	IQ2_M	2.78GB	false	比較的低品質、SOTA技術を使用して驚くほど使用可能。

埋め込み/出力ウェイト

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力ウェイトを通常のデフォルトではなくQ8_0に量子化した標準的な量子化手法です。

huggingface-cliを使用したダウンロード

ダウンロード手順を表示するにはクリック

まず、hugginface-cliがインストールされていることを確認してください:

pip install -U "huggingface_hub[cli]"

次に、特定のファイルを指定してダウンロードできます:

huggingface-cli download bartowski/Qwen_Qwen2.5-VL-7B-Instruct-GGUF --include "Qwen_Qwen2.5-VL-7B-Instruct-Q4_K_M.gguf" --local-dir ./

モデルが50GBより大きい場合、複数のファイルに分割されています。それらをすべてローカルフォルダにダウンロードするには、次のコマンドを実行します:

huggingface-cli download bartowski/Qwen_Qwen2.5-VL-7B-Instruct-GGUF --include "Qwen_Qwen2.5-VL-7B-Instruct-Q8_0/*" --local-dir ./

新しいlocal-dir（Qwen_Qwen2.5-VL-7B-Instruct-Q8_0）を指定するか、すべてをその場（./）にダウンロードできます。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらのウェイトはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし、現在はウェイトの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRをご覧ください。Q4_0を使用し、ハードウェアがウェイトの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、より良い品質を得たい場合は、このPRのおかげでIQ4_NLを使用できます。これもARM用にウェイトを再パッキングしますが、現時点では4_4のみです。ロード時間は遅くなるかもしれませんが、全体的な速度向上につながります。

Q4_0_X_X情報を表示（非推奨）

このセクションは、Q4_0とオンライン再パッキングを使用した場合の潜在的な理論的なパフォーマンス向上を示すために保持しています。

AVX2システム（EPYC7702）でのベンチマークを表示

model	size	params	backend	threads	test	t/s	% (vs Q4_0)
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%