QVQ 72B Preview GGUF

🚀 Qwen/QVQ-72B-Preview - GGUF

このリポジトリには、Qwen/QVQ-72B-Preview のGGUF形式のモデルファイルが含まれています。これらのファイルは TensorBlock が提供するマシンを使用して量子化されており、コミット b4391 までのバージョンの llama.cpp と互換性があります。

🚀 クイックスタート

ダウンロード方法

コマンドラインによる方法

まず、Huggingfaceクライアントをインストールします。

pip install -U "huggingface_hub[cli]"

次に、単一のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/QVQ-72B-Preview-GGUF --include "QVQ-72B-Preview-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターン（例：*Q4_K*gguf）で複数のモデルファイルをダウンロードする場合は、以下のコマンドを試してください。

huggingface-cli download tensorblock/QVQ-72B-Preview-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

✨ 主な機能

プロジェクト紹介

プロジェクトA	プロジェクトB

📚 ドキュメント

プロンプトテンプレート

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

モデルファイル仕様

📄 ライセンス

このプロジェクトは qwen ライセンスの下で提供されています。