Powerlm 3b

🚀 IBM PowerLM-3B 语言模型

PowerLM-3B 是一款 30 亿参数的先进小型语言模型，借助 Power 学习率调度器进行训练。它在开源和专有数据集的混合数据上进行训练，在自然语言多选、代码生成和数学推理等各类基准测试中，相较于同规模的其他模型展现出了优异的性能。

🚀 快速开始

使用该模型需要从源代码安装 HF transformers。

✨ 主要特性

• PowerLM-3B 采用 Power 学习率调度器进行训练，在多种基准测试中表现出色。
• 模型基于开源和专有数据集的混合数据进行训练，具有更广泛的适用性。
• 在自然语言多选、代码生成和数学推理等多个领域展现出良好的性能。

📚 详细文档

模型概述

PowerLM-3B 是一个 30 亿参数的先进小型语言模型，使用 Power 学习率调度器进行训练。它在开源和专有数据集的混合数据上进行训练，在自然语言多选、代码生成和数学推理等各种基准测试中，与同规模的其他模型相比，取得了令人瞩目的成果。 论文链接：https://arxiv.org/abs/2408.13359

评估指标

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # or "cpu"
model_path = "ibm/PowerLM-3b"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
prompt = "Write a code to find the maximum value in a list of numbers."
# tokenize the text
input_tokens = tokenizer(prompt, return_tensors="pt")
# transfer tokenized inputs to the device
for i in input_tokens:
    input_tokens[i] = input_tokens[i].to(device)
# generate output tokens
output = model.generate(**input_tokens, max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# loop over the batch to print, in this example the batch size is 1
for i in output:
    print(i)

📄 许可证

本模型采用 Apache-2.0 许可证。