GLM Z1 32B 0414

🚀 GLM-4-Z1-32B-0414

GLM-4-Z1-32B-0414系列模型屬於GLM家族新一代開源模型，擁有320億參數。其性能可與OpenAI的GPT系列以及DeepSeek的V3/R1系列相媲美，並且支持非常便捷的本地部署。

✨ 主要特性

• GLM-4-32B-0414：在15T高質量數據上進行預訓練，包含大量推理型合成數據，為後續強化學習擴展奠定基礎。在後續訓練階段，除了針對對話場景進行人類偏好對齊，還使用拒絕採樣和強化學習等技術增強了模型在指令遵循、工程代碼和函數調用方面的性能。在工程代碼、工件生成、函數調用、基於搜索的問答和報告生成等領域取得了良好的效果。
• GLM-Z1-32B-0414：具有深度思考能力的推理模型。基於GLM-4-32B-0414通過冷啟動和擴展強化學習開發，並在涉及數學、代碼和邏輯的任務上進一步訓練模型。與基礎模型相比，顯著提高了數學能力和解決複雜任務的能力。
• GLM-Z1-Rumination-32B-0414：具有沉思能力的深度推理模型。與典型的深度思考模型不同，該模型採用更長時間的深度思考來解決更開放和複雜的問題。在深度思考過程中集成了搜索工具以處理複雜任務，並通過利用多種基於規則的獎勵來指導和擴展端到端強化學習進行訓練。在研究型寫作和複雜檢索任務方面有顯著改進。
• GLM-Z1-9B-0414：一個驚喜之作。採用上述一系列技術訓練的90億小尺寸模型，保持了開源傳統。儘管規模較小，但在數學推理和一般任務中仍表現出出色的能力，在同尺寸的開源模型中整體性能已處於領先水平。

📦 安裝指南

使用本模型需確保 transforemrs>=4.51.3。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/GLM-4-Z1-32B-0414"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto")

message = [{"role": "user", "content": "Let a, b be positive real numbers such that ab = a + b + 3. Determine the range of possible values for a + b."}]

inputs = tokenizer.apply_chat_template(
    message,
    return_tensors="pt",
    add_generation_prompt=True,
    return_dict=True,
).to(model.device)

generate_kwargs = {
    "input_ids": inputs["input_ids"],
    "attention_mask": inputs["attention_mask"],
    "max_new_tokens": 4096,
    "do_sample": False,
}
out = model.generate(**generate_kwargs)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

📚 詳細文檔

採樣參數

強制思考

• 在第一行添加 <think>\n：確保模型在回覆前進行思考。
• 使用 chat_template.jinja 時，會自動注入提示以強制執行此行為。

對話歷史修剪

• 僅保留最終用戶可見的回覆。
• 隱藏的思考內容不應保存到歷史記錄中，以減少干擾，這在 chat_template.jinja 中已經實現。

處理長上下文（YaRN）

• 當輸入長度超過 8,192 個標記時，考慮啟用 YaRN（Rope Scaling）。
• 在支持的框架中，將以下代碼段添加到 config.json 中：

"rope_scaling": {
    "type": "yarn",
    "factor": 4.0,
    "original_max_position_embeddings": 32768
}

• 靜態 YaRN 適用於所有文本。它可能會略微降低短文本的性能，因此按需啟用。

📄 許可證

本項目採用MIT許可證。

🔗 引用

如果您覺得我們的工作有用，請考慮引用以下論文：

@misc{glm2024chatglm,
      title={ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools}, 
      author={Team GLM and Aohan Zeng and Bin Xu and Bowen Wang and Chenhui Zhang and Da Yin and Diego Rojas and Guanyu Feng and Hanlin Zhao and Hanyu Lai and Hao Yu and Hongning Wang and Jiadai Sun and Jiajie Zhang and Jiale Cheng and Jiayi Gui and Jie Tang and Jing Zhang and Juanzi Li and Lei Zhao and Lindong Wu and Lucen Zhong and Mingdao Liu and Minlie Huang and Peng Zhang and Qinkai Zheng and Rui Lu and Shuaiqi Duan and Shudan Zhang and Shulin Cao and Shuxun Yang and Weng Lam Tam and Wenyi Zhao and Xiao Liu and Xiao Xia and Xiaohan Zhang and Xiaotao Gu and Xin Lv and Xinghan Liu and Xinyi Liu and Xinyue Yang and Xixuan Song and Xunkai Zhang and Yifan An and Yifan Xu and Yilin Niu and Yuantao Yang and Yueyan Li and Yushi Bai and Yuxiao Dong and Zehan Qi and Zhaoyu Wang and Zhen Yang and Zhengxiao Du and Zhenyu Hou and Zihan Wang},
      year={2024},
      eprint={2406.12793},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}