🚀 GLM-4-32B-Base-0414

GLM-4-32B-Base-0414是GLM系列的新成员，拥有320亿参数。它在性能上可与OpenAI的GPT系列以及DeepSeek的V3/R1系列相媲美，并且支持非常友好的本地部署。该模型在15T高质量数据上进行预训练，其中包含大量推理型合成数据，为后续的强化学习扩展奠定了基础。在微调阶段，针对对话场景进行了人类偏好对齐，还运用拒绝采样和强化学习等技术，增强了模型在指令遵循、工程代码和函数调用方面的性能，强化了执行智能体任务所需的核心能力。

🚀 快速开始

GLM-4-32B-Base-0414系列模型具有强大的文本生成能力，可应用于多种场景，如动画生成、网页设计、SVG生成、基于搜索的写作等。以下将为你详细介绍其功能、使用示例及评估结果。

✨ 主要特性

模型家族丰富

• GLM-4-32B-0414：在工程代码、工件生成、函数调用、基于搜索的问答和报告生成等任务中表现出色，在多个基准测试中，其性能可与GPT-4o和DeepSeek-V3-0324（671B）等更大的模型相媲美。
• GLM-Z1-32B-0414：基于GLM-4-32B-0414开发的推理模型，具有深度思考能力。通过冷启动、扩展强化学习以及在数学、代码和逻辑等任务上的进一步训练，相比基础模型，显著提高了数学能力和解决复杂任务的能力。
• GLM-Z1-Rumination-32B-0414：具有反思能力的深度推理模型，能够进行更深入、更持久的思考，以解决更开放和复杂的问题。通过端到端强化学习进行训练，并在深度思考过程中可以利用搜索工具处理复杂任务。
• GLM-Z1-9B-0414：采用上述技术训练的小模型（9B），在数学推理和一般任务中表现出色，在同规模的所有开源模型中，整体性能名列前茅，在资源受限的场景下，实现了效率和效果的良好平衡。

支持多场景应用

• 动画生成：能够根据文本描述生成相应的动画，如模拟小球在旋转六边形内弹跳的Python程序动画，以及使用HTML模拟小球在旋转六边形中心释放的场景动画。
• 网页设计：可以设计支持自定义函数绘图的绘图板，以及移动机器学习平台的UI界面，包括训练任务、存储管理和个人统计界面等。
• SVG生成：可以使用SVG创建如江南水乡等场景，以及说明大语言模型训练过程的图形。
• 基于搜索的写作：根据搜索结果对用户问题进行作答，生成符合用户要求且有深度的专业答案。
• 函数调用：支持以JSON格式调用外部工具，可通过HuggingFace Transformers、vLLM或sgLang实现。

💻 使用示例

基础用法

import json
import re
import ast
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/GLM-4-32B-0414"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto")

def is_function_call(single_message):
    """Determine whether the current system message is a function call."""
    pattern = re.compile(r'([^\n`]*?)\n({.*?})(?=\w*\n|$)', re.DOTALL)
    matches = pattern.findall(single_message)
    if not matches:
        return False

    func_name, args_str = matches[0]
    func_name = func_name.strip()
    try:
        parsed_args = json.loads(args_str)
    except json.JSONDecodeError:
        try:
            parsed_args = ast.literal_eval(args_str)
        except:
            return False
    
    return {"name": func_name, "arguments": parsed_args}

def realtime_aqi(city):
    """Weather Query Tool"""
    if '北京' in city.lower():
        return json.dumps({'city': '北京', 'aqi': '10', 'unit': 'celsius'}, ensure_ascii=False)
    elif '上海' in city.lower():
        return json.dumps({'city': '上海', 'aqi': '72', 'unit': 'fahrenheit'}, ensure_ascii=False)
    else:
        return json.dumps({'city': city, 'aqi': 'unknown'}, ensure_ascii=False)

def build_system_prompt(tools):
    """Construct system prompt based on the list of available tools."""
    if tools is None:
        tools = []
    value = "# 可用工具"
    contents = []
    for tool in tools:
        content = f"\n\n## {tool['function']['name']}\n\n{json.dumps(tool['function'], ensure_ascii=False, indent=4)}"
        content += "\n在调用上述函数时，请使用 Json 格式表示调用的参数。"
        contents.append(content)
    value += "".join(contents)
    return value

tools = [
  {
    "type": "function", 
    "function": {
      "name": "realtime_aqi",
      "description": "天气预报。获取实时空气质量。当前空气质量，PM2.5，PM10信息",
      "parameters": {
          "type": "object",
          "properties": {
              "city": {
                  "description": "城市名"
              }
          },
          "required": [
              "city"
          ]
      }
	}
  }
]

system_prompt = build_system_prompt(tools)

message = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "北京和上海今天的天气情况"}
]
print(f"User Message: {message[-1]['content']}")

while True:
    inputs = tokenizer.apply_chat_template(
        message,
        return_tensors="pt",
        add_generation_prompt=True,
        return_dict=True,
    ).to(model.device)

    generate_kwargs = {
        "input_ids": inputs["input_ids"],
        "attention_mask": inputs["attention_mask"],
        "max_new_tokens": 1024,
        "do_sample": True,
    }
    out = model.generate(**generate_kwargs)
    generate_resp = tokenizer.decode(out[0][inputs["input_ids"].shape[1]:-1], skip_special_tokens=False)
    stop_sequence = tokenizer.decode(out[0][-1:], skip_speical_tokens=False)
    if stop_sequence == "<|user|>":
        print(f"Assistant Response: {generate_resp.strip()}")
        break

    function_calls = []
    for m in generate_resp.split("<|assistant|>"):
        fc_decode = is_function_call(m.strip())
        if fc_decode:
            message.append({"role": "assistant", "metadata": fc_decode['name'], "content": json.dumps(fc_decode['arguments'], ensure_ascii=False)})
            print(f"Function Call: {fc_decode}")
            function_calls.append(fc_decode)
        else:
            message.append({"role": "assistant", "content": m})
            print(f"Assistant Response: {m.strip()}")
    
    for fc in function_calls:
        function_response = realtime_aqi(
            city=fc["arguments"]["city"],
        )
        print(f"Function Response: {function_response}")
        message.append({"role": "observation", "content": function_response})

高级用法

在基于搜索的写作任务中，使用以下系统提示让模型根据搜索结果进行回复：

请根据所给搜索返回结果对用户问题进行作答。

## 注意
1. 充分利用和整理收集到的信息，而不是简单的复制粘贴，生成符合用户要求且有深度的专业答案。
2. 所提供信息充分的情况下，你的回答需尽可能延长，从用户意图角度出发，提供具有足够信息量和多角度的回复。
3. 另外，并非所有的搜索结果都与用户问题密切相关，请仔细的甄别、筛选和利用。
4. 客观类问答的答案通常非常简短，你可以适当补充一到两句相关信息，以丰富内容。
5. 请确保你的回复格式美观、可读性强。对于多实体对比或列举，善用列表格式来帮助用户更好的理解信息。
6. 除非用户要求，否则你回答的语言请于用户提问语言保持一致。
7. 在适当情况下在句子末尾使用例如:【0†source】的格式引用搜索结果。

使用时，可通过RAG或WebSearch等方法获取搜索结果，并将其包装在observation中，例如：

[
    {
        "role": "user",
        "content": "Explore the common characteristics of children's literature, with a focus on its narrative techniques and thematic tendencies. This includes narrative techniques: common approaches in children's literature such as first-person, third-person, omniscient narrator, and interactive narration, and their influence on young readers. It also includes thematic tendencies: recurring themes in children's literature such as growth, adventure, friendship, and family, with an analysis of how these themes impact children's cognitive and emotional development. Additionally, other universal features such as the use of personification, repetitive language, symbolism and metaphor, and educational value should be considered. Please provide a detailed analytical report based on academic research, classic examples of children's literature, and expert opinions."
    },
    {
        "role": "observation",
        "content": "【{id}†{title}†{url}】\n{content}"
    },
    ...
]

📚 详细文档

展示示例

动画生成

网页设计

模型	示例
GLM-4-32B-0414	Design a drawing board that supports custom function plotting, allowing adding and deleting custom functions, and assigning colors to functions. (Prompt translated from Chinese)
GLM-4-32B-0414	Design a UI for a mobile machine learning platform, which should include interfaces for training tasks, storage management, and personal statistics. The personal statistics interface should use charts to display the user's resource usage over a period. Use Tailwind CSS to style the page, and display these 3 mobile interfaces tiled on a single HTML page. (Prompt translated from Chinese)

SVG生成

模型	示例
GLM-4-32B-0414	Create a misty Jiangnan scene using SVG. (Prompt translated from Chinese)
GLM-4-32B-0414	Use SVG to illustrate the training process of an LLM. (Prompt translated from Chinese)

基于搜索的写作

按照上述系统提示和输入格式，模型可以生成详细的分析报告，如关于儿童文学共同特征的分析报告：

🔧 技术细节

函数调用机制

GLM-4-32B-0414支持以JSON格式调用外部工具，通过HuggingFace Transformers、vLLM或sgLang实现。工具调用的消息格式如下：

{
    "role": "asssitant", 
    "metadata": function_name, 
    "content": json.dumps(call_arguments, ensure_ascii=False)
}

工具执行结果的消息格式如下：

{
    "role": "observation", 
    "content": json.dumps(tool_response, ensure_ascii=False) if not isinstance(tool_response, str) else tool_response
}

评估结果

GLM-4-0414系列

对于SimpleQA和HotpotQA，我们从每个测试集中抽取了近500个测试用例，为所有模型提供基本的search和click工具，确保其他设置保持一致，并进行3次运行取平均值。

SWE-bench评估

[1] Moatless v0.0.3使用以下参数：response_format="react", thoughts_in_action=False, max_interations=30。失败轨迹不重试；其他设置为默认值。

[2] Agentless v1.5.0使用BGE作为嵌入模型，FAISS进行相似性搜索。为了在保持性能的同时加快补丁验证速度，将单个实例的运行超时时间从默认的300s更改为180s。

[3] OpenHands v0.29.1未使用YaRN上下文扩展，但将运行限制为最多60次迭代，并总结历史记录以防止超过32K上下文限制。总结配置为llm_config="condenser", keep_first=1, max_size=32。失败轨迹不重试。

📄 许可证

本项目采用MIT许可证。