Qwen_Qwen3 - 30B - A3B - GGUFオープンソースモデル - 無料でデプロイし、テキストの効率的な生成をサポート

ホーム

Qwen Qwen3 30B A3B GGUF

bartowskiによって開発

Qwen/Qwen3-30B-A3Bを基にした量子化バージョンで、llama.cppを使用して複数の精度で量子化されており、テキスト生成タスクに適しています。

大規模言語モデルオープンソースライセンス:Apache-2.0 #高精度量子化 #多シナリオテキスト生成 #低メモリ最適化

ダウンロード数 79.34k

リリース時間 : 4/28/2025

モデル概要

これは30Bパラメータ規模の大規模言語モデルの量子化バージョンで、複数の量子化精度オプションをサポートし、さまざまなハードウェア環境での効率的な推論に適しています。

モデル特徴

複数量子化オプション

Q8_0からIQ2_XXSまで20種類の異なる量子化精度のモデルファイルを提供し、さまざまなハードウェア要件に対応

imatrix最適化

改良されたimatrixデータセットを使用して量子化を行い、量子化後のモデル品質を向上

広範な互換性

LM Studio、llama.cppおよびllama.cppベースの各種プロジェクトの実行をサポート

埋め込み最適化

一部の量子化バージョンでは埋め込みと出力重みにQ8_0量子化を使用し、重要な部分の精度を保持

モデル能力

テキスト生成

対話システム

コンテンツ作成

使用事例

対話システム

インテリジェントアシスタント

インテリジェントな対話アシスタントの構築に使用可能

コンテンツ生成

テキスト作成

記事、ストーリーなどのテキストコンテンツ生成に使用可能

quantized_by: bartowski pipeline_tag: テキスト生成 license: apache-2.0 license_link: https://huggingface.co/Qwen/Qwen3-30B-A3B/blob/main/LICENSE base_model: Qwen/Qwen3-30B-A3B base_model_relation: 量子化

QwenによるQwen3-30B-A3BのLlamacpp imatrix量子化

llama.cppのリリースb5200を使用して量子化しました。

オリジナルモデル: https://huggingface.co/Qwen/Qwen3-30B-A3B

すべての量子化は、こちらのデータセット（近日中に公開予定の追加合成データで拡張）を使用してimatrixオプションで作成されました。

LM Studioで実行可能

llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能

プロンプト形式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

新機能:

imatrixデータセットの改善

以下のファイル（ブランチ全体ではなく）をダウンロード:

ファイル名	量子化タイプ	ファイルサイズ	分割	説明
Qwen3-30B-A3B-bf16.gguf	bf16	61.10GB	true	完全なBF16重み。
Qwen3-30B-A3B-Q8_0.gguf	Q8_0	32.48GB	false	非常に高品質、一般的には不要だが利用可能な最大量子化。
Qwen3-30B-A3B-Q6_K_L.gguf	Q6_K_L	25.26GB	false	埋め込みと出力重みにQ8_0を使用。非常に高品質、ほぼ完璧、推奨。
Qwen3-30B-A3B-Q6_K.gguf	Q6_K	25.10GB	false	非常に高品質、ほぼ完璧、推奨。
Qwen3-30B-A3B-Q5_K_L.gguf	Q5_K_L	21.94GB	false	埋め込みと出力重みにQ8_0を使用。高品質、推奨。
Qwen3-30B-A3B-Q5_K_M.gguf	Q5_K_M	21.74GB	false	高品質、推奨。
Qwen3-30B-A3B-Q5_K_S.gguf	Q5_K_S	21.10GB	false	高品質、推奨。
Qwen3-30B-A3B-Q4_1.gguf	Q4_1	19.21GB	false	レガシー形式、Q4_K_Sと類似の性能だがAppleシリコンでトークン/ワットが改善。
Qwen3-30B-A3B-Q4_K_L.gguf	Q4_K_L	18.86GB	false	埋め込みと出力重みにQ8_0を使用。良好な品質、推奨。
Qwen3-30B-A3B-Q4_K_M.gguf	Q4_K_M	18.63GB	false	良好な品質、ほとんどのユースケースに適したデフォルトサイズ、推奨。
Qwen3-30B-A3B-Q4_K_S.gguf	Q4_K_S	17.98GB	false	品質はやや低いがスペース節約、推奨。
Qwen3-30B-A3B-Q4_0.gguf	Q4_0	17.63GB	false	レガシー形式、ARMおよびAVX CPU推論用のオンライン再パッキングを提供。
Qwen3-30B-A3B-IQ4_NL.gguf	IQ4_NL	17.39GB	false	IQ4_XSに類似、やや大きい。ARM CPU推論用のオンライン再パッキングを提供。
Qwen3-30B-A3B-IQ4_XS.gguf	IQ4_XS	16.46GB	false	良好な品質、Q4_K_Sより小さく類似の性能、推奨。
Qwen3-30B-A3B-Q3_K_XL.gguf	Q3_K_XL	14.86GB	false	埋め込みと出力重みにQ8_0を使用。品質は低いが使用可能、低RAM環境に適す。
Qwen3-30B-A3B-Q3_K_L.gguf	Q3_K_L	14.58GB	false	品質は低いが使用可能、低RAM環境に適す。
Qwen3-30B-A3B-Q3_K_M.gguf	Q3_K_M	14.08GB	false	低品質。
Qwen3-30B-A3B-IQ3_M.gguf	IQ3_M	14.08GB	false	中低品質、Q3_K_Mに匹敵する性能の新しい手法。
Qwen3-30B-A3B-Q3_K_S.gguf	Q3_K_S	13.43GB	false	低品質、非推奨。
Qwen3-30B-A3B-IQ3_XS.gguf	IQ3_XS	12.74GB	false	低品質、Q3_K_Sよりやや優れた新しい手法。
Qwen3-30B-A3B-IQ3_XXS.gguf	IQ3_XXS	12.22GB	false	低品質、Q3量子化に匹敵する新しい手法。
Qwen3-30B-A3B-Q2_K_L.gguf	Q2_K_L	11.21GB	false	埋め込みと出力重みにQ8_0を使用。非常に低品質だが驚くほど使用可能。
Qwen3-30B-A3B-Q2_K.gguf	Q2_K	10.91GB	false	非常に低品質だが驚くほど使用可能。
Qwen3-30B-A3B-IQ2_M.gguf	IQ2_M	10.43GB	false	比較的低品質、SOTA技術で驚くほど使用可能。
Qwen3-30B-A3B-IQ2_S.gguf	IQ2_S	9.22GB	false	低品質、SOTA技術で使用可能。
Qwen3-30B-A3B-IQ2_XS.gguf	IQ2_XS	9.14GB	false	低品質、SOTA技術で使用可能。
Qwen3-30B-A3B-IQ2_XXS.gguf	IQ2_XXS	8.15GB	false	非常に低品質、SOTA技術で使用可能。

埋め込み/出力重み

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みを通常のデフォルトではなくQ8_0に量子化した標準的な量子化手法です。

huggingface-cliを使用したダウンロード

クリックしてダウンロード手順を表示

まず、hugginface-cliがインストールされていることを確認してください:

pip install -U "huggingface_hub[cli]"

次に、対象の特定のファイルを指定できます:

huggingface-cli download bartowski/Qwen_Qwen3-30B-A3B-GGUF --include "Qwen_Qwen3-30B-A3B-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。それらをすべてローカルフォルダにダウンロードするには、以下を実行します:

huggingface-cli download bartowski/Qwen_Qwen3-30B-A3B-GGUF --include "Qwen_Qwen3-30B-A3B-Q8_0/*" --local-dir ./

新しいlocal-dir（Qwen_Qwen3-30B-A3B-Q8_0）を指定するか、すべてをその場（./）にダウンロードできます。

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みはメモリ内でインターリーブされ、ARMおよびAVXマシンでのパフォーマンスを向上させるために一度により多くのデータをロードしていました。

しかし、現在は重みの「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRを参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングの恩恵を受ける場合、自動的にオンザフライで実行されます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。

さらに、このPRのおかげで、ARM用に重みを再パッキングするIQ4_NLを使用して、やや品質を向上させることができます（現時点では4_4のみ）。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。

クリックしてQ4_0_X_X情報（非推奨）を表示

このセクションは、Q4_0とオンライン再パッキングを使用した場合の潜在的な理論的性能向上を示すために保持しています。

クリックしてAVX2システム（EPYC7702）のベンチマークを表示

モデル	サイズ	パラメータ	バックエンド	スレッド	テスト	t/s	% (vs Q4_0)
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%