Qwen2 VL 2B Instruct GGUF

🚀 Qwen/Qwen2-VL-2B-Instruct - GGUF

このリポジトリには、Qwen/Qwen2-VL-2B-Instruct の GGUF 形式のモデルファイルが含まれています。これらのファイルは TensorBlock が提供するマシンを使用して量子化されており、コミット b4329 までの llama.cpp と互換性があります。

🚀 クイックスタート

プロジェクトの概要

このプロジェクトは、Qwen2-VL-2B-Instruct モデルの GGUF 形式のファイルを提供することに焦点を当てており、ユーザーが llama.cpp 環境でこのモデルを使用できるようにします。

関連プロジェクト

プロジェクト名	プロジェクト詳細	プロジェクト画像	プロジェクトリンク
Awesome MCP Servers	包括的なモデルコンテキストプロトコル（MCP）サーバーの集合です。		プロジェクトを見る
TensorBlock Studio	軽量で、オープンかつ拡張可能な複数の大規模言語モデルとのインタラクションスタジオです。		プロジェクトを見る

✨ 主な機能

• Qwen2-VL-2B-Instruct モデルの GGUF 形式のファイルを提供します。
• モデルファイルは TensorBlock が提供するマシンを使用して量子化されています。
• 特定のコミットまでの llama.cpp と互換性があります。

📦 インストール

コマンドラインによるインストール

まず、Huggingface クライアントをインストールします。

pip install -U "huggingface_hub[cli]"

次に、単一のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/Qwen2-VL-2B-Instruct-GGUF --include "Qwen2-VL-2B-Instruct-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターン（例: *Q4_K*gguf）に基づいて複数のモデルファイルをダウンロードする場合は、以下のコマンドを試してみてください。

huggingface-cli download tensorblock/Qwen2-VL-2B-Instruct-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 ドキュメント

プロンプトテンプレート

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

モデルファイルの仕様

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で提供されています。