Qwq 32B GGUF

🚀 Qwen/QwQ-32B - GGUF

このリポジトリには、Qwen/QwQ-32B のGGUF形式のモデルファイルが含まれています。これらのファイルは、TensorBlock が提供するマシンを使用して量子化されており、コミット b4823 以降のllama.cppと互換性があります。

✨ 主な機能

関連プロジェクト

Awesome MCP Servers	TensorBlock Studio
モデルコンテキストプロトコル（MCP）サーバーの包括的なコレクション。	軽量でオープンかつ拡張可能なマルチLLMインタラクションスタジオ。
👀 私たちが構築したものを見る 👀	👀 私たちが構築したものを見る 👀

📚 ドキュメント

プロンプトテンプレート

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
<think>

モデルファイル仕様

📦 インストール

コマンドライン

まず、Huggingface Clientをインストールします。

pip install -U "huggingface_hub[cli]"

次に、個々のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/QwQ-32B-GGUF --include "QwQ-32B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターン（例：*Q4_K*gguf）で複数のモデルファイルをダウンロードしたい場合は、以下のコマンドを試してください。

huggingface-cli download tensorblock/QwQ-32B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で公開されています。