Litellama 460M 1T

🚀 LiteLlama: 縮小規模版のLlama

LiteLlamaは、Meta AIのLLaMa 2をオープンソースで再現したモデルです。ただし、モデルサイズを大幅に縮小しており、LiteLlama-460M-1T は1Tトークンで学習された4億6000万のパラメータを持っています。

🚀 クイックスタート

このモデルを使い始めるには、以下の手順に従ってください。

モデルのロード

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = 'ahxt/LiteLlama-460M-1T'

model = AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

prompt = 'Q: What is the largest bird?\nA:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
tokens = model.generate(input_ids, max_length=20)
print( tokenizer.decode(tokens[0].tolist(), skip_special_tokens=True) )
# Q: What is the largest bird?\nA: The largest bird is a black-headed gull.

✨ 主な機能

• Meta AIのLLaMa 2をオープンソースで再現
• モデルサイズを大幅に縮小

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

データセットとトークン化

モデルは RedPajama データセットの一部で学習されています。テキストのトークン化には GPT2Tokenizer を使用しています。

学習の詳細

モデルは約1Tトークン（0.98T）で学習されました。トークン数 = ステップ数 * 長さ * バッチサイズ = 499679 * 1024 * 192 = 98240888832 ≈ 0.98T です。

学習曲線はこの WandBプロジェクト で確認できます。

評価

MMLUタスクでの評価

Open LLM Leaderboard評価結果

詳細な結果は こちら で確認できます。

🔧 技術詳細

• モデルは約1Tトークン（0.98T）で学習されました。
• 学習曲線は WandBプロジェクト で確認できます。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。

コンタクト

このモデルはテキサスA&M大学の Xiaotian Han 氏が、Prof. Xia "Ben" Hu の監督のもと、DATA Labで開発しました。