Qwen2 VL 7B Instruct GGUF

🚀 Qwen/Qwen2-VL-7B-Instruct - GGUF

このリポジトリには、Qwen/Qwen2-VL-7B-Instruct の GGUF 形式のモデルファイルが含まれています。これらのファイルは TensorBlock が提供するマシンを使用して量子化されており、コミット b4329 までの llama.cpp と互換性があります。

🚀 クイックスタート

このリポジトリは、Qwen/Qwen2-VL-7B-Instruct モデルの GGUF 形式のファイルを提供します。これらのファイルは TensorBlock のマシンで量子化され、特定バージョンの llama.cpp と互換性があります。

✨ 主な機能

このプロジェクトには以下の特徴があります。

• Qwen/Qwen2-VL-7B-Instruct モデルの GGUF 形式のファイルを提供します。
• モデルファイルは TensorBlock が提供するマシンを使用して量子化されています。
• 特定バージョンの llama.cpp と互換性があります。

📦 インストール

コマンドラインによるインストール

まず、Huggingface クライアントをインストールします。

pip install -U "huggingface_hub[cli]"

次に、単一のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/Qwen2-VL-7B-Instruct-GGUF --include "Qwen2-VL-7B-Instruct-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターン（例： *Q4_K*gguf）に従って複数のモデルファイルをダウンロードする場合は、以下のコマンドを試してください。

huggingface-cli download tensorblock/Qwen2-VL-7B-Instruct-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 ドキュメント

当社のプロジェクト

プロジェクト名	プロジェクトの説明	プロジェクトの画像	プロジェクトのリンク
Awesome MCP Servers	包括的なモデルコンテキストプロトコル（MCP）サーバーの集合です。		👉 プロジェクトを見る 👈
TensorBlock Studio	軽量で、オープンかつ拡張可能な複数の大規模言語モデルのインタラクティブなスタジオです。		👉 プロジェクトを見る 👈

プロンプトテンプレート

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

モデルファイルの仕様

📄 ライセンス

このプロジェクトは、Apache-2.0 ライセンスの下で提供されています。