Qwen3-8B-GGUFオープンソース大規模言語モデル - 無料でデプロイ可能、推論能力と多言語サポート能力が高い

Qwen3 8B GGUF

prithivMLmodsによって開発

Qwen3は通義千問シリーズの最新世代大規模言語モデルで、密モデルと混合エキスパート（MoE）モデルの完全なスイートを提供します。大規模なトレーニングに基づき、Qwen3は推論能力、命令追従、エージェント機能、多言語サポートにおいて画期的な進歩を実現しました。

ダウンロード数 1,222

リリース時間 : 5/13/2025

モデル概要

Qwen3-8B-GGUFは通義千問シリーズの大規模言語モデルで、テキスト生成タスクをサポートし、さまざまなハードウェアニーズに対応するため複数の量子化バージョンを提供します。

混合エキスパートモデル

密モデルと混合エキスパート（MoE）モデルの完全なスイートを提供し、推論能力を最適化します。

多量子化バージョン

FP32からQ2_Kまでのさまざまな量子化バージョンをサポートし、異なるハードウェアと性能ニーズに対応します。

高性能推論

推論能力、命令追従、エージェント機能、多言語サポートにおいて画期的な進歩を実現しました。

テキスト生成

命令追従

多言語サポート

エージェント機能

テキスト生成

コンテンツ作成

高品質な記事、ストーリー、またはコピーを生成します。

コード生成

開発者がコードスニペットを生成したりプログラミングタスクを完了するのを支援します。

インテリジェントアシスタント

対話システム

インテリジェントな対話システムを構築し、自然言語インタラクションを提供します。

Qwen3はQwenシリーズの最新世代の大規模言語モデルで、高密度モデルとエキスパート混合（MoE）モデルを豊富に提供しています。広範なトレーニングを基に構築され、推論、命令追従、エージェント機能、多言語サポートにおいて画期的な進歩を遂げています。

ファイル名	サイズ	量子化	形式	説明
`Qwen3_8B.F32.gguf`	32.8 GB	FP32	GGUF	全精度（float32）バージョン
`Qwen3_8B.BF16.gguf`	16.4 GB	BF16	GGUF	BFloat16精度バージョン
`Qwen3_8B.F16.gguf`	16.4 GB	FP16	GGUF	Float16精度バージョン
`Qwen3_8B.Q2_K.gguf`	3.28 GB	Q2_K	GGUF	2ビット量子化（Kバリアント）
`Qwen3_8B.Q3_K_M.gguf`	4.12 GB	Q3_K_M	GGUF	3ビット量子化（K Mバリアント）
`Qwen3_8B.Q3_K_S.gguf`	3.77 GB	Q3_K_S	GGUF	3ビット量子化（K Sバリアント）
`Qwen3_8B.Q4_K_M.gguf`	5.03 GB	Q4_K_M	GGUF	4ビット量子化（K Mバリアント）
`Qwen3_8B.Q4_K_S.gguf`	4.8 GB	Q4_K_S	GGUF	4ビット量子化（K Sバリアント）
`Qwen3_8B.Q5_K_M.gguf`	5.85 GB	Q5_K_M	GGUF	5ビット量子化（K Mバリアント）
`Qwen3_8B.Q8_0.gguf`	8.71 GB	Q8_0	GGUF	8ビット量子化
`.gitattributes`	2.08 kB	—	—	Git LFS追跡ファイル
`config.json`	31 B	—	—	設定プレースホルダー
`README.md`	31 B	—	—	モデルドキュメント

（サイズでソートされており、必ずしも品質を表しているわけではありません。IQ量子化モデルは、同程度のサイズの非IQ量子化モデルよりも優れていることが多いです）

リンク	タイプ	サイズ/GB	注意事項
GGUF	Q2_K	0.4
GGUF	Q3_K_S	0.5
GGUF	Q3_K_M	0.5	低品質
GGUF	Q3_K_L	0.5
GGUF	IQ4_XS	0.6
GGUF	Q4_K_S	0.6	高速、推奨
GGUF	Q4_K_M	0.6	高速、推奨
GGUF	Q5_K_S	0.6
GGUF	Q5_K_M	0.7
GGUF	Q6_K	0.7	非常に良い品質
GGUF	Q8_0	0.9	高速、最高品質
GGUF	f16	1.6	16 bpw、過剰