Qwq Math IO 500M GGUF

🚀 prithivMLmods/QwQ-Math-IO-500M - GGUF

本仓库包含 prithivMLmods/QwQ-Math-IO-500M 的 GGUF 格式模型文件。这些文件是使用 TensorBlock 提供的机器进行量化的，并且与 提交 b4823 版本的 llama.cpp 兼容。

🚀 快速开始

下载说明

命令行方式

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/QwQ-Math-IO-500M-GGUF --include "QwQ-Math-IO-500M-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式下载多个模型文件（例如 *Q4_K*gguf），可以尝试以下命令：

huggingface-cli download tensorblock/QwQ-Math-IO-500M-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

✨ 主要特性

项目介绍

项目展示

Awesome MCP Servers	TensorBlock Studio
一个全面的模型上下文协议（MCP）服务器集合。	一个轻量级、开放且可扩展的多大语言模型交互工作室。
👉 查看项目 👈	👉 查看项目 👈

📚 详细文档

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

模型文件规格

📦 安装指南

命令行

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/QwQ-Math-IO-500M-GGUF --include "QwQ-Math-IO-500M-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式下载多个模型文件（例如 *Q4_K*gguf），可以尝试以下命令：

huggingface-cli download tensorblock/QwQ-Math-IO-500M-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📄 许可证

本项目采用 Apache-2.0 许可证。