Powerlm 3b

🚀 ibm/PowerLM-3b

PowerLM-3Bは、Power学習率スケジューラを用いて学習された30億パラメータの最先端の小型言語モデルです。オープンソースと独自のデータセットを組み合わせて学習されており、自然言語の多肢選択問題、コード生成、数学的推論など、様々なベンチマークで他の同規模のモデルと比較して有望な結果を示しています。

🚀 クイックスタート

PowerLM-3Bは、Power学習率スケジューラを用いて学習された小型言語モデルです。オープンソースと独自のデータセットを組み合わせて学習され、様々なベンチマークで良好な性能を発揮します。

✨ 主な機能

• Power学習率スケジューラを用いた学習
• オープンソースと独自のデータセットを組み合わせた学習
• 自然言語の多肢選択問題、コード生成、数学的推論などのタスクで良好な性能

📦 インストール

⚠️ 重要提示

ソースからHF transformersをインストールする必要があります。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # or "cpu"
model_path = "ibm/PowerLM-3b"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
prompt = "Write a code to find the maximum value in a list of numbers."
# tokenize the text
input_tokens = tokenizer(prompt, return_tensors="pt")
# transfer tokenized inputs to the device
for i in input_tokens:
    input_tokens[i] = input_tokens[i].to(device)
# generate output tokens
output = model.generate(**input_tokens, max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# loop over the batch to print, in this example the batch size is 1
for i in output:
    print(i)

📚 ドキュメント

• 論文: https://arxiv.org/abs/2408.13359

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。