🚀 GLM-4-9B-0414

GLM家族迎來新成員——GLM-4-32B-0414系列模型，擁有320億參數。其性能可與OpenAI的GPT系列以及DeepSeek的V3/R1系列相媲美，還支持非常友好的本地部署功能。GLM-4-32B-Base-0414在15T高質量數據上進行了預訓練，其中包含大量推理類型的合成數據，為後續的強化學習擴展奠定了基礎。在微調階段，我們針對對話場景進行了人類偏好對齊。此外，通過拒絕採樣和強化學習等技術，提升了模型在指令遵循、工程代碼和函數調用方面的性能，從而增強了執行智能體任務所需的核心能力。GLM-4-32B-0414在工程代碼、工件生成、函數調用、基於搜索的問答和報告生成等方面取得了良好的效果。特別是在一些基準測試中，如代碼生成或特定問答任務，GLM-4-32B-Base-0414的性能可與GPT-4o和DeepSeek-V3-0324（671B）等更大的模型相媲美。

GLM-Z1-32B-0414是一個具有深度思考能力的推理模型。它基於GLM-4-32B-0414，通過冷啟動、擴展強化學習以及在數學、代碼和邏輯等任務上的進一步訓練而開發。與基礎模型相比，GLM-Z1-32B-0414顯著提高了數學能力和解決複雜任務的能力。在訓練過程中，我們還引入了基於成對排序反饋的通用強化學習，增強了模型的通用能力。

GLM-Z1-Rumination-32B-0414是一個具有深度反思能力的推理模型（對標OpenAI的深度研究）。與典型的深度思考模型不同，反思模型能夠進行更深入、更持久的思考，以解決更開放、更復雜的問題（例如，撰寫兩個城市人工智能發展的比較分析及其未來發展規劃）。Z1-Rumination通過端到端強化學習進行擴展訓練，使用真實答案或評分標準對回覆進行評分，並可以在深度思考過程中使用搜索工具來處理複雜任務。該模型在研究型寫作和複雜任務方面表現出顯著的改進。

最後，GLM-Z1-9B-0414是一個驚喜。我們採用上述所有技術訓練了一個小模型（9B）。GLM-Z1-9B-0414在數學推理和通用任務中表現出色，在所有相同規模的開源模型中，其整體性能名列前茅。特別是在資源受限的場景中，該模型在效率和效果之間取得了出色的平衡，為尋求輕量級部署的用戶提供了強大的選擇。

✨ 主要特性

• 高性能表現：性能可與OpenAI的GPT系列以及DeepSeek的V3/R1系列相媲美，在多個基準測試中取得良好效果。
• 本地部署友好：支持非常友好的本地部署功能。
• 多場景適用：在工程代碼、工件生成、函數調用、基於搜索的問答和報告生成等方面表現出色。
• 深度思考能力：部分模型具有深度思考和反思能力，能解決複雜問題。
• 小模型優勢：GLM-Z1-9B-0414在資源受限場景中，效率和效果平衡出色。

📚 詳細文檔

展示

動畫生成

網頁設計

模型	展示內容
GLM-4-32B-0414	設計一個支持自定義函數繪圖的繪圖板，允許添加和刪除自定義函數，併為函數分配顏色。（提示從中文翻譯而來）
GLM-4-32B-0414	為移動機器學習平臺設計一個用戶界面，應包括訓練任務、存儲管理和個人統計的界面。個人統計界面應使用圖表顯示用戶一段時間內的資源使用情況。使用Tailwind CSS對頁面進行樣式設計，並將這3個移動界面平鋪顯示在一個HTML頁面上。（提示從中文翻譯而來）

SVG生成

模型	展示內容
GLM-4-32B-0414	使用SVG創建一個朦朧的江南場景。（提示從中文翻譯而來）
GLM-4-32B-0414	使用SVG說明大語言模型的訓練過程。（提示從中文翻譯而來）

基於搜索的寫作

對於基於搜索的寫作任務，我們使用以下系統提示讓模型根據搜索結果進行回覆：

請根據所給搜索返回結果對用戶問題進行作答。

## 注意
1. 充分利用和整理收集到的信息，而不是簡單的複製粘貼，生成符合用戶要求且有深度的專業答案。
2. 所提供信息充分的情況下，你的回答需儘可能延長，從用戶意圖角度出發，提供具有足夠信息量和多角度的回覆。
3. 另外，並非所有的搜索結果都與用戶問題密切相關，請仔細的甄別、篩選和利用。
4. 客觀類問答的答案通常非常簡短，你可以適當補充一到兩句相關信息，以豐富內容。
5. 請確保你的回覆格式美觀、可讀性強。對於多實體對比或列舉，善用列表格式來幫助用戶更好的理解信息。
6. 除非用戶要求，否則你回答的語言請於用戶提問語言保持一致。
7. 在適當情況下在句子末尾使用例如:【0†source】的格式引用搜索結果。

使用時，你可以通過RAG或WebSearch等方法獲取搜索結果，並將其包裝在observation中，例如：

[
    {
        "role": "user",
        "content": "Explore the common characteristics of children's literature, with a focus on its narrative techniques and thematic tendencies. This includes narrative techniques: common approaches in children's literature such as first-person, third-person, omniscient narrator, and interactive narration, and their influence on young readers. It also includes thematic tendencies: recurring themes in children's literature such as growth, adventure, friendship, and family, with an analysis of how these themes impact children's cognitive and emotional development. Additionally, other universal features such as the use of personification, repetitive language, symbolism and metaphor, and educational value should be considered. Please provide a detailed analytical report based on academic research, classic examples of children's literature, and expert opinions."
    },
    {
        "role": "observation",
        "content": "【{id}†{title}†{url}】\n{content}"
    },
    ...
]

對於上述提示，我們使用內部或外部搜索模型獲取搜索結果。使用上述格式，我們可以生成以下分析報告：

函數調用

GLM-4-32B-0414支持以JSON格式調用外部工具。這可以通過HuggingFace Transformers、vLLM或sgLang實現。 工具調用的消息格式如下：

{
    "role": "asssitant", 
    "metadata": function_name, 
    "content": json.dumps(call_arguments, ensure_ascii=False)
}

工具執行結果的消息格式如下：

{
    "role": "observation", 
    "content": json.dumps(tool_response, ensure_ascii=False) if not isinstance(tool_response, str) else tool_response
}

以下示例展示了GLM-4-9B-0414使用HuggingFace Transformers調用工具並生成最終回覆的過程：

import json
import re
import ast
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/GLM-4-9B-0414"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto")

def is_function_call(single_message):
    """Determine whether the current system message is a function call."""
    pattern = re.compile(r'([^\n`]*?)\n({.*?})(?=\w*\n|$)', re.DOTALL)
    matches = pattern.findall(single_message)
    if not matches:
        return False

    func_name, args_str = matches[0]
    func_name = func_name.strip()
    try:
        parsed_args = json.loads(args_str)
    except json.JSONDecodeError:
        try:
            parsed_args = ast.literal_eval(args_str)
        except:
            return False
    
    return {"name": func_name, "arguments": parsed_args}

def realtime_aqi(city):
    """Weather Query Tool"""
    if '北京' in city.lower():
        return json.dumps({'city': '北京', 'aqi': '10', 'unit': 'celsius'}, ensure_ascii=False)
    elif '上海' in city.lower():
        return json.dumps({'city': '上海', 'aqi': '72', 'unit': 'fahrenheit'}, ensure_ascii=False)
    else:
        return json.dumps({'city': city, 'aqi': 'unknown'}, ensure_ascii=False)

def build_system_prompt(tools):
    """Construct system prompt based on the list of available tools."""
    if tools is None:
        tools = []
    value = "# 可用工具"
    contents = []
    for tool in tools:
        content = f"\n\n## {tool['function']['name']}\n\n{json.dumps(tool['function'], ensure_ascii=False, indent=4)}"
        content += "\n在調用上述函數時，請使用 Json 格式表示調用的參數。"
        contents.append(content)
    value += "".join(contents)
    return value

tools = [
  {
    "type": "function", 
    "function": {
      "name": "realtime_aqi",
      "description": "天氣預報。獲取即時空氣質量。當前空氣質量，PM2.5，PM10信息",
      "parameters": {
          "type": "object",
          "properties": {
              "city": {
                  "description": "城市名"
              }
          },
          "required": [
              "city"
          ]
      }
	}
  }
]

system_prompt = build_system_prompt(tools)

message = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "北京和上海今天的天氣情況"}
]
print(f"User Message: {message[-1]['content']}")

while True:
    inputs = tokenizer.apply_chat_template(
        message,
        return_tensors="pt",
        add_generation_prompt=True,
        return_dict=True,
    ).to(model.device)

    generate_kwargs = {
        "input_ids": inputs["input_ids"],
        "attention_mask": inputs["attention_mask"],
        "max_new_tokens": 1024,
        "do_sample": True,
    }
    out = model.generate(**generate_kwargs)
    generate_resp = tokenizer.decode(out[0][inputs["input_ids"].shape[1]:-1], skip_special_tokens=False)
    stop_sequence = tokenizer.decode(out[0][-1:], skip_speical_tokens=False)
    if stop_sequence == "<|user|>":
        print(f"Assistant Response: {generate_resp.strip()}")
        break

    function_calls = []
    for m in generate_resp.split("<|assistant|>"):
        fc_decode = is_function_call(m.strip())
        if fc_decode:
            message.append({"role": "assistant", "metadata": fc_decode['name'], "content": json.dumps(fc_decode['arguments'], ensure_ascii=False)})
            print(f"Function Call: {fc_decode}")
            function_calls.append(fc_decode)
        else:
            message.append({"role": "assistant", "content": m})
            print(f"Assistant Response: {m.strip()}")
    
    for fc in function_calls:
        function_response = realtime_aqi(
            city=fc["arguments"]["city"],
        )
        print(f"Function Response: {function_response}")
        message.append({"role": "observation", "content": function_response})

評估結果

GLM-4-0414系列

對於SimpleQA和HotpotQA，我們從每個測試集中採樣了近500個測試用例，為所有模型提供基本的search和click工具，確保其他設置保持一致，並進行3次運行取平均值。

[1] Moatless v0.0.3使用以下參數：response_format="react", thoughts_in_action=False, max_interations=30。失敗軌跡不重試；其他設置為默認值。

[2] Agentless v1.5.0使用BGE作為嵌入模型，使用FAISS進行相似性搜索。為了在保持性能的同時加快補丁驗證速度，將單個實例的運行超時時間從默認的300s更改為180s。

[3] OpenHands v0.29.1未使用YaRN上下文擴展，但將運行限制為最多60次迭代，並總結歷史記錄以防止超過32K上下文限制。總結配置為llm_config="condenser", keep_first=1, max_size=32。失敗軌跡不重試。

📄 許可證

本項目採用MIT許可證。