Rank Zephyr 7b V1 Full GGUF

🚀 castorini/rank_zephyr_7b_v1_full - GGUF

本倉庫包含 castorini/rank_zephyr_7b_v1_full 的 GGUF 格式模型文件。這些文件由 TensorBlock 提供的機器進行量化，並且與截至 提交 b4011 的 llama.cpp 兼容。

✨ 主要特性

項目相關

本項目除了當前的模型文件倉庫，還有以下相關項目：

項目名稱	項目詳情	項目圖片	項目鏈接
Awesome MCP Servers	一個全面的模型上下文協議（MCP）服務器集合。		👀 查看項目 👀
TensorBlock Studio	一個輕量級、開放且可擴展的多大語言模型交互工作室。		👀 查看項目 👀

模型信息

📚 詳細文檔

提示模板

<|system|>
{system_prompt}</s>
<|user|>
{prompt}</s>
<|assistant|>

模型文件規格

📦 安裝指南

命令行方式

安裝 Huggingface 客戶端

pip install -U "huggingface_hub[cli]"

下載單個模型文件到本地目錄

huggingface-cli download tensorblock/rank_zephyr_7b_v1_full-GGUF --include "rank_zephyr_7b_v1_full-Q2_K.gguf" --local-dir MY_LOCAL_DIR

按模式下載多個模型文件

如果你想按模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試以下命令：

huggingface-cli download tensorblock/rank_zephyr_7b_v1_full-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📄 許可證

本項目採用 MIT 許可證。