Qwen_Qwen3-8B-GGUFオープンソースモデル - llama.cppと互換性があり、無料で対話交際をサポート

ホーム

Qwen Qwen3 8B GGUF

tensorblockによって開発

Qwen3-8BのGGUF形式量子化バージョン、TensorBlock提供、llama.cpp互換

大規模言語モデルオープンソースライセンス:Apache-2.0 #軽量量子化 #マルチターン対話最適化 #中国語優先サポート

ダウンロード数 452

リリース時間 : 4/29/2025

モデル概要

このリポジトリにはQwen/Qwen3-8BのGGUF形式モデルファイルが含まれており、テキスト生成タスクに適しており、複数の量子化レベル選択をサポート

モデル特徴

多量子化レベル選択

Q2_KからQ8_0までの12種類の異なる量子化レベルのモデルファイルを提供し、様々なシナリオのニーズに対応

llama.cpp互換

b5214コミットまでのllama.cppバージョンと互換性があり、ローカル展開が容易

最適化されたプロンプトテンプレート

標準化されたプロンプトテンプレートを提供し、モデルとのインタラクションが容易

モデル能力

テキスト生成

対話システム

コンテンツ作成

使用事例

コンテンツ生成

クリエイティブライティング

ストーリーや詩などのクリエイティブなテキストコンテンツを生成

技術文書

技術文書や説明を自動生成

対話システム

インテリジェントアシスタント

対話型AIアシスタントを構築

🚀 Qwen/Qwen3-8B - GGUF

このリポジトリには、Qwen/Qwen3-8B のGGUF形式のモデルファイルが含まれています。

これらのファイルは、TensorBlock が提供するマシンを使用して量子化されており、コミット b5214 以降の llama.cpp と互換性があります。

フィードバックとサポート: TensorBlockの Twitter/X、Telegramグループおよび Discordサーバー

✨ 主要特性

当社のプロジェクト

プロジェクト	説明
Awesome MCP Servers	Model Context Protocol (MCP) サーバーの包括的なコレクションです。
TensorBlock Studio	軽量で、オープンかつ拡張可能なマルチLLMインタラクションスタジオです。

📚 详细文档

プロンプトテンプレート

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

モデルファイル仕様

ファイル名	量子化タイプ	ファイルサイズ	説明
Qwen3-8B-Q2_K.gguf	Q2_K	3.282 GB	最も小さいが、品質の損失が大きい。ほとんどの用途では推奨されない。
Qwen3-8B-Q3_K_S.gguf	Q3_K_S	3.770 GB	非常に小さいが、品質の損失が大きい。
Qwen3-8B-Q3_K_M.gguf	Q3_K_M	4.124 GB	非常に小さいが、品質の損失が大きい。
Qwen3-8B-Q3_K_L.gguf	Q3_K_L	4.431 GB	小さいが、品質の損失が大きい。
Qwen3-8B-Q4_0.gguf	Q4_0	4.775 GB	旧型式。小さいが、品質の損失が非常に大きい。Q3_K_M の使用を推奨。
Qwen3-8B-Q4_K_S.gguf	Q4_K_S	4.802 GB	小さいが、品質の損失が大きい。
Qwen3-8B-Q4_K_M.gguf	Q4_K_M	5.028 GB	中程度。品質がバランスしている。推奨。
Qwen3-8B-Q5_0.gguf	Q5_0	5.721 GB	旧型式。中程度。品質がバランスしている。Q4_K_M の使用を推奨。
Qwen3-8B-Q5_K_S.gguf	Q5_K_S	5.721 GB	大きい。品質の損失が少ない。推奨。
Qwen3-8B-Q5_K_M.gguf	Q5_K_M	5.851 GB	大きい。品質の損失が非常に少ない。推奨。
Qwen3-8B-Q6_K.gguf	Q6_K	6.726 GB	非常に大きい。品質の損失が極めて少ない。
Qwen3-8B-Q8_0.gguf	Q8_0	8.710 GB	非常に大きい。品質の損失が極めて少ないが、推奨されない。

ダウンロード手順

コマンドライン

まず、Huggingface Clientをインストールします。

pip install -U "huggingface_hub[cli]"

次に、個々のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/Qwen_Qwen3-8B-GGUF --include "Qwen3-8B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターンを指定して複数のモデルファイルをダウンロードする場合は（例: *Q4_K*gguf）、以下のコマンドを試してください。

huggingface-cli download tensorblock/Qwen_Qwen3-8B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で公開されています。

おすすめAIモデル

Llama 3 Typhoon V1.5x 8b Instruct

タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化

Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。

Roberta Base Chinese Extractive Qa

RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。

質問応答システム中国語

uer

2,694

未来を切り開く、あなたのAIソリューション知識ベース

English 简体中文繁體中文にほんご