Rank Zephyr 7b V1 Full GGUF

🚀 castorini/rank_zephyr_7b_v1_full - GGUF

このリポジトリには、castorini/rank_zephyr_7b_v1_full のGGUF形式のモデルファイルが含まれています。 これらのファイルは TensorBlock が提供するマシンを使用して量子化されており、コミットb4011 以降の llama.cpp と互換性があります。

✨ 主な機能

当社のプロジェクト

Awesome MCP Servers	TensorBlock Studio
Model Context Protocol (MCP)サーバーの包括的なコレクション。	軽量でオープンかつ拡張可能なマルチLLMインタラクションスタジオ。
👀 私たちの成果を見る 👀	👀 私たちの成果を見る 👀

プロンプトテンプレート

<|system|>
{system_prompt}</s>
<|user|>
{prompt}</s>
<|assistant|>

モデルファイル仕様

📦 インストール

コマンドライン

まず、Huggingface Clientをインストールします。

pip install -U "huggingface_hub[cli]"

次に、個々のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/rank_zephyr_7b_v1_full-GGUF --include "rank_zephyr_7b_v1_full-Q2_K.gguf" --local-dir MY_LOCAL_DIR

複数のモデルファイルをパターンでダウンロードする場合（例: *Q4_K*gguf）は、以下を試してください。

huggingface-cli download tensorblock/rank_zephyr_7b_v1_full-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。