🚀 QwQ-32B GGUF模型

QwQ-32B GGUF模型采用了最新的超低比特量化方法，在保持高精度的同时极大地提高了内存使用效率。该模型支持多种语言，可用于文本生成任务，为用户提供高效、准确的文本处理解决方案。

🚀 快速开始

以下是一个使用 apply_chat_template 加载分词器和模型并生成内容的代码片段：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/QwQ-32B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How many r's are in the word \"strawberry\""
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

✨ 主要特性

超低比特量化技术

• 引入了针对超低比特模型（1 - 2比特）的精度自适应量化方法，经基准测试证明，在 Llama - 3 - 8B 上有显著改进。
• 采用特定层策略，在保持极端内存效率的同时保留准确性。

多语言支持

支持中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等多种语言。

多种模型格式可选

提供BF16、F16、量化模型（Q4_K、Q6_K、Q8等）以及极低比特量化模型（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）等多种格式，满足不同硬件和内存需求。

📦 安装指南

QwQ基于Qwen2.5，其代码已集成在最新的Hugging face transformers 中。建议使用最新版本的 transformers。

若使用 transformers<4.37.0，会遇到以下错误：

KeyError: 'qwen2'

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/QwQ-32B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How many r's are in the word \"strawberry\""
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

📚 详细文档

量化性能比较（Llama - 3 - 8B）

选择合适的模型格式

包含文件及详情

• QwQ-32B-bf16.gguf：模型权重保存为BF16格式，适用于支持BF16加速的设备，可用于将模型重新量化为其他格式。
• QwQ-32B-f16.gguf：模型权重保存为F16格式，适用于支持FP16但不支持BF16的设备。
• QwQ-32B-bf16-q8_0.gguf：输出和嵌入层保持为BF16，其他层量化为Q8_0，适用于支持BF16且需要量化版本的设备。
• QwQ-32B-f16-q8_0.gguf：输出和嵌入层保持为F16，其他层量化为Q8_0。
• QwQ-32B-q4_k.gguf：输出和嵌入层量化为Q8_0，其他层量化为Q4_K，适用于内存有限的CPU推理。
• QwQ-32B-q4_k_s.gguf：最小的Q4_K变体，以牺牲精度为代价减少内存使用，适用于极低内存设置。
• QwQ-32B-q6_k.gguf：输出和嵌入层量化为Q8_0，其他层量化为Q6_K。
• QwQ-32B-q8_0.gguf：全Q8量化模型，精度更高，但需要更多内存。
• QwQ-32B-iq3_xs.gguf：IQ3_XS量化，针对极致内存效率进行优化，适用于超低内存设备。
• QwQ-32B-iq3_m.gguf：IQ3_M量化，提供中等块大小以提高精度，适用于低内存设备。
• QwQ-32B-q4_0.gguf：纯Q4_0量化，针对ARM设备优化，适用于低内存环境，若追求更高精度可选择IQ4_NL。

使用指南

为实现最佳性能，建议遵循以下设置：

1. 强制深思输出：确保模型以"<think>\n"开头，防止生成空的思考内容，以免降低输出质量。若使用 apply_chat_template 并设置 add_generation_prompt=True，此功能已自动实现，但响应开头可能缺少 <think> 标签，这是正常现象。
2. 采样参数：
   • 使用Temperature = 0.6，TopP = 0.95，MinP = 0代替贪心解码，避免无限重复。
   • 使用TopK在20到40之间，过滤掉罕见的标记出现，同时保持生成输出的多样性。
   • 对于支持的框架，可将 presence_penalty 参数调整在0到2之间，以减少无限重复，但较高的值可能导致偶尔的语言混合和性能略有下降。
3. 历史记录中无思考内容：在多轮对话中，历史模型输出应仅包含最终输出部分，无需包含思考内容。此功能已在 apply_chat_template 中实现。
4. 标准化输出格式：在进行基准测试时，建议使用提示来标准化模型输出。
   • 数学问题：在提示中包含 "Please reason step by step, and put your final answer within \boxed{}."。
   • 多项选择题：在提示中添加以下JSON结构以标准化响应："Please show your choice in the answer field with only the choice letter, e.g.,\"answer\": \"C\"."。
5. 处理长输入：对于超过8,192个标记的输入，启用 YaRN 以提高模型有效捕获长序列信息的能力。 对于支持的框架，可在 config.json 中添加以下内容以启用YaRN：

   {
   ...,
   "rope_scaling": {
       "factor": 4.0,
       "original_max_position_embeddings": 32768,
       "type": "yarn"
   }
   }
   

   对于部署，建议使用vLLM。若不熟悉vLLM，请参考文档。目前，vLLM仅支持静态YARN，即缩放因子无论输入长度如何都保持不变，可能会影响短文本的性能。建议仅在需要处理长上下文时添加 rope_scaling 配置。

评估与性能

详细的评估结果请参考📑 博客。 有关GPU内存要求和相应吞吐量的结果，请参考此处。

🔧 技术细节

量化方法

• 动态精度分配：
  • 前/后25%的层 → IQ4_XS（选定层）
  • 中间50% → IQ2_XXS/IQ3_S（提高效率）
• 关键组件保护：
  • 嵌入层/输出层使用Q5_K
  • 与标准1 - 2比特量化相比，误差传播减少38%

基准测试上下文

所有测试均在 Llama - 3 - 8B - Instruct 上进行，使用：

• 标准困惑度评估管道
• 2048标记的上下文窗口
• 所有量化方式使用相同的提示集

📄 许可证

本项目采用Apache - 2.0许可证，详情请见许可证链接。

🚀 如果你觉得这些模型有用

❤ 如果你觉得这些模型有用，请点击“点赞”！
帮助我测试我的支持量子安全检查的AI网络监控助手：
👉 免费网络监控器

💬 测试方法：

1. 点击聊天图标（任意页面右下角）
2. 选择一个AI助手类型：
   • TurboLLM (GPT - 4 - mini)
   • FreeLLM (开源)
   • TestLLM (仅支持CPU的实验性模型)

测试内容

我正在探索用于AI网络监控的小型开源模型的极限，具体包括：

• 针对实时网络服务的函数调用
• 模型可以多小，同时仍能处理：
  • 自动化Nmap扫描
  • 量子就绪检查
  • Metasploit集成

🟡 TestLLM – 当前的实验性模型（llama.cpp在6个CPU线程上运行）：

• ✅ 零配置设置
• ⏳ 30秒加载时间（推理速度慢，但无API成本）
• 🔧 寻求帮助！ 如果你对边缘设备AI感兴趣，让我们一起合作！

其他助手

🟢 TurboLLM – 使用 gpt - 4 - mini 进行：

• 实时网络诊断
• 自动化渗透测试 (Nmap/Metasploit)
• 🔑 通过下载我们的免费网络监控代理获取更多令牌

🔵 HugLLM – 开源模型（约80亿参数）：

• 比TurboLLM多2倍的令牌
• AI驱动的日志分析
• 🌐 在Hugging Face推理API上运行

💡 用于测试的示例AI命令：

1. "Give me info on my websites SSL certificate"
2. "Check if my server is using quantum safe encyption for communication"
3. "Run a quick Nmap vulnerability test"

引用

如果您觉得我们的工作有帮助，请引用以下内容：

@misc{qwq32b,
    title = {QwQ-32B: Embracing the Power of Reinforcement Learning},
    url = {https://qwenlm.github.io/blog/qwq-32b/},
    author = {Qwen Team},
    month = {March},
    year = {2025}
}

@article{qwen2.5,
      title={Qwen2.5 Technical Report}, 
      author={An Yang and Baosong Yang and Beichen Zhang and Binyuan Hui and Bo Zheng and Bowen Yu and Chengyuan Li and Dayiheng Liu and Fei Huang and Haoran Wei and Huan Lin and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Yang and Jiaxi Yang and Jingren Zhou and Junyang Lin and Kai Dang and Keming Lu and Keqin Bao and Kexin Yang and Le Yu and Mei Li and Mingfeng Xue and Pei Zhang and Qin Zhu and Rui Men and Runji Lin and Tianhao Li and Tianyi Tang and Tingyu Xia and Xingzhang Ren and Xuancheng Ren and Yang Fan and Yang Su and Yichang Zhang and Yu Wan and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zihan Qiu},
      journal={arXiv preprint arXiv:2412.15115},
      year={2024}
}