Glm Edge 1.5b Chat

🚀 GLM-Edge-1.5B-Chat

GLM-Edge-1.5B-Chat 是一款文本生成模型，可用于多种自然语言处理任务，为用户提供便捷的文本生成服务。

🚀 快速开始

🔍 推理说明

本模型使用 Transformers 库进行推理，下面将详细介绍安装和推理步骤。

✨ 主要特性

• 框架支持：支持 Pytorch 框架。
• 应用领域：适用于文本生成任务。

📦 安装指南

从源代码安装 transformers 库：

pip install git+https://github.com/huggingface/transformers.git

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/glm-edge-1.5b-chat"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto")

message = [{"role": "user", "content": "hello!"}]

inputs = tokenizer.apply_chat_template(
    message,
    return_tensors="pt",
    add_generation_prompt=True,
    return_dict=True,
).to(model.device)

generate_kwargs = {
    "input_ids": inputs["input_ids"],
    "attention_mask": inputs["attention_mask"],
    "max_new_tokens": 128,
    "do_sample": False,
}
out = model.generate(**generate_kwargs)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

📄 许可证

本模型权重的使用需遵循 LICENSE 中规定的条款。

中文阅读, 点击这里