Glm Edge 1.5b Chat

🚀 GLM-Edge-1.5B-Chat

GLM-Edge-1.5B-Chatは、テキスト生成に特化したモデルです。GLM技術を活用し、エッジ環境でも効率的に動作します。

🚀 クイックスタート

GLM-Edge-1.5B-Chatを使用するには、まずtransformersライブラリをインストールする必要があります。その後、モデルをロードして推論を行うことができます。

✨ 主な機能

• Pytorchフレームワーク対応：Pytorchを使用してモデルを構築および実行できます。
• テキスト生成：入力に基づいて自然なテキストを生成します。
• GLM技術活用：GLMの強力な言語理解能力を活用します。

📦 インストール

transformersライブラリをソースコードからインストールします。

pip install git+https://github.com/huggingface/transformers.git

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/glm-edge-1.5b-chat"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto")

message = [{"role": "user", "content": "hello!"}]

inputs = tokenizer.apply_chat_template(
    message,
    return_tensors="pt",
    add_generation_prompt=True,
    return_dict=True,
).to(model.device)

generate_kwargs = {
    "input_ids": inputs["input_ids"],
    "attention_mask": inputs["attention_mask"],
    "max_new_tokens": 128,
    "do_sample": False,
}
out = model.generate(**generate_kwargs)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

📄 ライセンス

このモデルの重みの使用は、LICENSEに記載されている条件に従う必要があります。

日本語以外の言語での説明を読むには、こちらをクリックしてください。