Qwq 32B NF4

🚀 Qwen/QwQ-32B（量化版）

本項目是Qwen/QwQ-32B模型的量化版本，通過量化技術在保持一定性能的同時，減少模型的存儲和計算資源需求，提升推理效率。

🚀 快速開始

以下是一個使用 apply_chat_template 加載分詞器和模型並生成內容的代碼片段：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/QwQ-32B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How many r's are in the word \"strawberry\""
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

✨ 主要特性

• 量化版本：本模型是原始 Qwen/QwQ-32B 模型的量化版本，使用 BitsAndBytes 庫將其量化為4位。
• 高性能推理：QwQ是通義系列的推理模型，相比傳統的指令調優模型，具有思考和推理能力，在下游任務尤其是難題上表現出色。
• 長上下文支持：支持完整的131,072個標記的上下文長度。

📦 安裝指南

QwQ基於Qwen2.5，其代碼已集成在最新的Hugging face transformers 中。建議使用最新版本的 transformers，使用 transformers<4.37.0 會遇到以下錯誤：

KeyError: 'qwen2'

📚 詳細文檔

模型信息

量化詳情

• 量化類型：int4
• bnb_4bit_quant_type：nf4
• bnb_4bit_use_double_quant：True
• bnb_4bit_compute_dtype：bfloat16
• bnb_4bit_quant_storage：uint8

模型介紹

QwQ是通義系列的推理模型，QwQ-32B是中型推理模型，能夠與最先進的推理模型（如DeepSeek-R1、o1-mini）相媲美。本倉庫包含QwQ 32B模型，具有以下特點：

• 類型：因果語言模型
• 訓練階段：預訓練和後訓練（監督微調與強化學習）
• 架構：採用RoPE、SwiGLU、RMSNorm和注意力QKV偏置的transformers架構
• 參數數量：325億
• 非嵌入參數數量：310億
• 層數：64
• 注意力頭數量（GQA）：Q為40，KV為8
• 上下文長度：完整的131,072個標記
  • 對於長度超過8,192個標記的提示，必須按照本節所述啟用YaRN。

使用指南

為了獲得最佳體驗，請在部署QwQ模型之前查看使用指南。可以嘗試我們的演示或通過QwenChat訪問QwQ模型。更多詳細信息，請參考我們的博客、GitHub和文檔。

使用指南

為了達到最佳性能，建議進行以下設置：

1. 確保深思熟慮的輸出：確保模型以"<think>\n"開頭，以防止生成空洞的思考內容，從而降低輸出質量。如果使用 apply_chat_template 並將 add_generation_prompt 設置為 True，則此功能已自動實現，但可能會導致響應開頭缺少 <think> 標籤，這是正常現象。
2. 採樣參數：
   • 使用 Temperature=0.6、TopP=0.95、MinP=0 代替貪心解碼，以避免無限重複。
   • 使用20到40之間的TopK來過濾掉罕見的標記出現，同時保持生成輸出的多樣性。
   • 對於支持的框架，可以將 presence_penalty 參數調整為0到2之間，以減少無限重複。但是，使用較高的值可能會導致偶爾出現語言混合和性能略有下降。
3. 歷史記錄中無思考內容：在多輪對話中，歷史模型輸出應僅包括最終輸出部分，無需包括思考內容。此功能已在 apply_chat_template 中實現。
4. 標準化輸出格式：建議在進行基準測試時使用提示來標準化模型輸出：
   • 數學問題：在提示中包含 "請逐步推理，並將最終答案放在 \boxed{} 內。"
   • 多項選擇題：在提示中添加以下JSON結構以標準化響應："請在 answer 字段中僅使用選項字母顯示您的選擇，例如 \"answer\": \"C\"。"
5. 處理長輸入：對於長度超過8,192個標記的輸入，啟用 YaRN 以提高模型有效捕獲長序列信息的能力。 對於支持的框架，可以在 config.json 中添加以下內容以啟用YaRN：

   {
   ...,
   "rope_scaling": {
       "factor": 4.0,
       "original_max_position_embeddings": 32768,
       "type": "yarn"
   }
   }
   

   對於部署，建議使用vLLM。如果不熟悉vLLM，請參考我們的文檔。目前，vLLM僅支持靜態YARN，這意味著縮放因子無論輸入長度如何都保持不變，可能會影響短文本的性能。建議僅在需要處理長上下文時添加 rope_scaling 配置。

評估與性能

詳細的評估結果請參考此博客。有關GPU內存要求和相應吞吐量的信息，請參閱此處的結果。

引用

如果您覺得我們的工作有幫助，請引用以下內容：

@misc{qwq32b,
    title = {QwQ-32B: Embracing the Power of Reinforcement Learning},
    url = {https://qwenlm.github.io/blog/qwq-32b/},
    author = {Qwen Team},
    month = {March},
    year = {2025}
}

@article{qwen2.5,
      title={Qwen2.5 Technical Report}, 
      author={An Yang and Baosong Yang and Beichen Zhang and Binyuan Hui and Bo Zheng and Bowen Yu and Chengyuan Li and Dayiheng Liu and Fei Huang and Haoran Wei and Huan Lin and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Yang and Jiaxi Yang and Jingren Zhou and Junyang Lin and Kai Dang and Keming Lu and Keqin Bao and Kexin Yang and Le Yu and Mei Li and Mingfeng Xue and Pei Zhang and Qin Zhu and Rui Men and Runji Lin and Tianhao Li and Tianyi Tang and Tingyu Xia and Xingzhang Ren and Xuancheng Ren and Yang Fan and Yang Su and Yichang Zhang and Yu Wan and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zihan Qiu},
      journal={arXiv preprint arXiv:2412.15115},
      year={2024}
}

⚠️ 重要提示

為獲得最佳體驗，請在部署QwQ模型之前查看使用指南。

💡 使用建議

建議使用最新版本的 transformers，使用 transformers<4.37.0 會遇到 KeyError: 'qwen2' 錯誤。