Glm 4 9b Chat Hf

🚀 GLM-4-9B-Chat

GLM-4-9B-Chat 是智譜 AI 推出的 GLM-4 系列預訓練模型的開源版本。它在語義、數學、推理、代碼和知識等數據集評估中表現出色，超越了 Llama-3-8B。除多輪對話外，還具備網頁瀏覽、代碼執行、自定義工具調用和長上下文推理等高級功能。

🚀 快速開始

如需更多推理代碼和要求，請訪問我們的 GitHub 頁面。

請嚴格按照 依賴項 進行安裝，否則將無法正常運行。

使用 Transformers 庫（4.46.0 及更高版本）進行推理：

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('THUDM/glm-4-9b-chat-hf')
model = AutoModelForCausalLM.from_pretrained('THUDM/glm-4-9b-chat-hf', device_map="auto")

message = [
    {
        "role": "system",
        "content": "Answer the following question."
    },
    {
        "role": "user",
        "content": "How many legs does a cat have?"
    }
]

inputs = tokenizer.apply_chat_template(
    message,
    return_tensors='pt',
    add_generation_prompt=True,
    return_dict=True,
).to(model.device)

input_len = inputs['input_ids'].shape[1]
generate_kwargs = {
    "input_ids": inputs['input_ids'],
    "attention_mask": inputs['attention_mask'],
    "max_new_tokens": 128,
    "do_sample": False,
}
out = model.generate(**generate_kwargs)
print(tokenizer.decode(out[0][input_len:], skip_special_tokens=True))

使用 vLLM 庫（0.6.4 及更高版本）進行推理：

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

# GLM-4-9B-Chat-1M
# max_model_len, tp_size = 1048576, 4
# If you encounter OOM phenomenon, it is recommended to reduce max_model_len or increase tp_size
max_model_len, tp_size = 131072, 1
model_name = "THUDM/glm-4-9b-chat-hf"
prompt = [{"role": "user", "content": "what is your name?"}]

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
llm = LLM(
    model=model_name,
    tensor_parallel_size=tp_size,
    max_model_len=max_model_len,
    trust_remote_code=True,
    enforce_eager=True,
    # GLM-4-9B-Chat-1M-HF If you encounter OOM phenomenon, it is recommended to enable the following parameters
    # enable_chunked_prefill=True,
    # max_num_batched_tokens=8192
)
stop_token_ids = [151329, 151336, 151338]
sampling_params = SamplingParams(temperature=0.95, max_tokens=1024, stop_token_ids=stop_token_ids)

inputs = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True)
outputs = llm.generate(prompts=inputs, sampling_params=sampling_params)

print(outputs[0].outputs[0].text)

✨ 主要特性

• 高性能表現：在語義、數學、推理、代碼和知識等數據集評估中，GLM-4-9B 及其人工偏好對齊版本 GLM-4-9B-Chat 表現超越 Llama-3-8B。
• 高級功能豐富：除多輪對話外，GLM-4-9B-Chat 還具備網頁瀏覽、代碼執行、自定義工具調用（Function Call）和長上下文推理（支持高達 128K 上下文）等高級功能。
• 多語言支持：支持日語、韓語和德語等 26 種語言。
• 長上下文模型：推出支持 1M 上下文長度（約 200 萬漢字）的 GLM-4-9B-Chat-1M 模型。
• 多模態能力：基於 GLM-4-9B 的多模態模型 GLM-4V-9B 在 1120*1120 的高分辨率下具備中英雙語對話能力，在多種多模態評估中表現優於 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus。

📚 詳細文檔

基準測試

綜合基準測試

我們在一些經典任務上對 GLM-4-9B-Chat 模型進行了評估，結果如下：

長上下文測試

• 在上下文長度為 1M 的 eval_needle 實驗 中，結果如下：
• 在 LongBench 上進一步評估長文本能力，結果如下：

多語言測試

在六個多語言數據集上對 GLM-4-9B-Chat 和 Llama-3-8B-Instruct 進行了測試，測試結果和每個數據集選擇的相應語言如下表所示：

函數調用測試

在 Berkeley Function Calling Leaderboard 上進行測試，結果如下：

此倉庫是 GLM-4-9B-Chat 的模型倉庫，支持 128K 上下文長度。

📄 許可證

GLM-4 模型的權重可在 許可證 的條款下使用。

🔖 引用

如果您認為我們的工作有用，請考慮引用以下論文：

@misc{glm2024chatglm,
      title={ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools}, 
      author={Team GLM and Aohan Zeng and Bin Xu and Bowen Wang and Chenhui Zhang and Da Yin and Diego Rojas and Guanyu Feng and Hanlin Zhao and Hanyu Lai and Hao Yu and Hongning Wang and Jiadai Sun and Jiajie Zhang and Jiale Cheng and Jiayi Gui and Jie Tang and Jing Zhang and Juanzi Li and Lei Zhao and Lindong Wu and Lucen Zhong and Mingdao Liu and Minlie Huang and Peng Zhang and Qinkai Zheng and Rui Lu and Shuaiqi Duan and Shudan Zhang and Shulin Cao and Shuxun Yang and Weng Lam Tam and Wenyi Zhao and Xiao Liu and Xiao Xia and Xiaohan Zhang and Xiaotao Gu and Xin Lv and Xinghan Liu and Xinyi Liu and Xinyue Yang and Xixuan Song and Xunkai Zhang and Yifan An and Yifan Xu and Yilin Niu and Yuantao Yang and Yueyan Li and Yushi Bai and Yuxiao Dong and Zehan Qi and Zhaoyu Wang and Zhen Yang and Zhengxiao Du and Zhenyu Hou and Zihan Wang},
      year={2024},
      eprint={2406.12793},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}

⚠️ 重要提示

如果您使用此倉庫中的權重，請更新到 transformers>=4.46.0 ，這些權重與舊版本的 transformers 庫 不兼容。

💡 使用建議

請嚴格按照 依賴項 進行安裝，否則模型將無法正常運行。在使用 vLLM 庫進行推理時，如果遇到 OOM 現象，建議降低 max_model_len 或增加 tp_size；對於 GLM-4-9B-Chat-1M-HF，若遇到 OOM 現象，建議啟用 enable_chunked_prefill=True 和 max_num_batched_tokens=8192 等參數。