Powerlm 3b

🚀 IBM PowerLM-3B 語言模型

PowerLM-3B 是一款 30 億參數的先進小型語言模型，藉助 Power 學習率調度器進行訓練。它在開源和專有數據集的混合數據上進行訓練，在自然語言多選、代碼生成和數學推理等各類基準測試中，相較於同規模的其他模型展現出了優異的性能。

🚀 快速開始

使用該模型需要從源代碼安裝 HF transformers。

✨ 主要特性

• PowerLM-3B 採用 Power 學習率調度器進行訓練，在多種基準測試中表現出色。
• 模型基於開源和專有數據集的混合數據進行訓練，具有更廣泛的適用性。
• 在自然語言多選、代碼生成和數學推理等多個領域展現出良好的性能。

📚 詳細文檔

模型概述

PowerLM-3B 是一個 30 億參數的先進小型語言模型，使用 Power 學習率調度器進行訓練。它在開源和專有數據集的混合數據上進行訓練，在自然語言多選、代碼生成和數學推理等各種基準測試中，與同規模的其他模型相比，取得了令人矚目的成果。 論文鏈接：https://arxiv.org/abs/2408.13359

評估指標

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # or "cpu"
model_path = "ibm/PowerLM-3b"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
prompt = "Write a code to find the maximum value in a list of numbers."
# tokenize the text
input_tokens = tokenizer(prompt, return_tensors="pt")
# transfer tokenized inputs to the device
for i in input_tokens:
    input_tokens[i] = input_tokens[i].to(device)
# generate output tokens
output = model.generate(**input_tokens, max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# loop over the batch to print, in this example the batch size is 1
for i in output:
    print(i)

📄 許可證

本模型採用 Apache-2.0 許可證。