Qwen1.5 MoE A2.7B GGUF

🚀 通义千问/Qwen1.5-MoE-A2.7B - GGUF

本仓库包含 Qwen/Qwen1.5-MoE-A2.7B 的 GGUF 格式模型文件。这些文件由 TensorBlock 提供的机器进行量化，自 提交 b4011 起，它们与 llama.cpp 兼容。

🚀 快速开始

此部分介绍了项目的核心内容，即提供 Qwen/Qwen1.5-MoE-A2.7B 的 GGUF 格式模型文件，以及这些文件的量化来源和兼容性。

✨ 主要特性

• 提供多种量化类型的模型文件，以满足不同的使用需求。
• 模型文件与 llama.cpp 兼容，方便用户进行使用。

📦 安装指南

命令行安装

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/Qwen1.5-MoE-A2.7B-GGUF --include "Qwen1.5-MoE-A2.7B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式下载多个模型文件（例如，*Q4_K*gguf），可以尝试：

huggingface-cli download tensorblock/Qwen1.5-MoE-A2.7B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

💻 使用示例

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 详细文档

模型文件规格

🔧 技术细节

模型文件由 TensorBlock 提供的机器进行量化，确保了量化的准确性和高效性。并且自 提交 b4011 起，与 llama.cpp 兼容，方便用户在 llama.cpp 环境中使用这些模型文件。

📄 许可证

本项目使用 通义千问许可证。

我们的项目

项目名称	项目描述	项目图片	项目链接
Forge	一个与 OpenAI 兼容的多提供商路由层。		🚀 立即尝试！🚀
Awesome MCP Servers	一个全面的模型上下文协议（MCP）服务器集合。		👀 查看我们的成果 👀
TensorBlock Studio	一个轻量级、开放且可扩展的多大语言模型交互工作室。		👀 查看我们的成果 👀