Qwen1.5 MoE A2.7B GGUF

🚀 通義千問/Qwen1.5-MoE-A2.7B - GGUF

本倉庫包含 Qwen/Qwen1.5-MoE-A2.7B 的 GGUF 格式模型文件。這些文件由 TensorBlock 提供的機器進行量化，自 提交 b4011 起，它們與 llama.cpp 兼容。

🚀 快速開始

此部分介紹了項目的核心內容，即提供 Qwen/Qwen1.5-MoE-A2.7B 的 GGUF 格式模型文件，以及這些文件的量化來源和兼容性。

✨ 主要特性

• 提供多種量化類型的模型文件，以滿足不同的使用需求。
• 模型文件與 llama.cpp 兼容，方便用戶進行使用。

📦 安裝指南

命令行安裝

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/Qwen1.5-MoE-A2.7B-GGUF --include "Qwen1.5-MoE-A2.7B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式下載多個模型文件（例如，*Q4_K*gguf），可以嘗試：

huggingface-cli download tensorblock/Qwen1.5-MoE-A2.7B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

💻 使用示例

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 詳細文檔

模型文件規格

🔧 技術細節

模型文件由 TensorBlock 提供的機器進行量化，確保了量化的準確性和高效性。並且自 提交 b4011 起，與 llama.cpp 兼容，方便用戶在 llama.cpp 環境中使用這些模型文件。

📄 許可證

本項目使用 通義千問許可證。

我們的項目

項目名稱	項目描述	項目圖片	項目鏈接
Forge	一個與 OpenAI 兼容的多提供商路由層。		🚀 立即嘗試！🚀
Awesome MCP Servers	一個全面的模型上下文協議（MCP）服務器集合。		👀 查看我們的成果 👀
TensorBlock Studio	一個輕量級、開放且可擴展的多大語言模型交互工作室。		👀 查看我們的成果 👀