Llama2 Xs 460M Experimental

🚀 LLaMa Lite: LLaMAとLLaMa 2の縮小規模実験バージョン

このリポジトリシリーズでは、Meta AIのLLaMAとLLaMa 2という大規模言語モデルのオープンソースな再現版を提供しています。ただし、モデルサイズを大幅に縮小しており、llama1_sの実験バージョンは18億個のパラメータを持ち、llama2_xsの実験バージョンは4億6000万個のパラメータを持っています。（'s'はsmallを、'xs'はextra smallを表します）

🚀 クイックスタート

このセクションでは、LLaMa Liteの基本的な使い方を説明します。

✨ 主な機能

• Meta AIのLLaMAとLLaMa 2の縮小規模実験バージョンを提供
• HuggingFace Transformersライブラリで直接ロード可能

📦 インストール

このリポジトリでは特別なインストール手順は必要ありません。実験用のチェックポイントはTransformersライブラリで直接ロードできます。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# model_path = 'ahxt/llama2_xs_460M_experimental'
model_path = 'ahxt/llama1_s_1.8B_experimental'

model = AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

prompt = 'Q: What is the largest bird?\nA:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
tokens = model.generate(input_ids, max_length=20)
print( tokenizer.decode(tokens[0].tolist(), skip_special_tokens=True) )
# Q: What is the largest bird?\nA: The largest bird is the bald eagle.

📚 詳細ドキュメント

データセットとトークン化

モデルはRedPajamaデータセットの一部を使って学習されています。テキストのトークン化にはGPT2Tokenizerを使用しています。

評価

モデルはMMLUタスクで評価されています。

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

🔧 技術詳細

• モデルの学習にはRedPajamaデータセットの一部を使用
• テキストのトークン化にはGPT2Tokenizerを使用
• 実験用チェックポイントはTransformersライブラリで直接ロード可能

📄 ライセンス

この実験バージョンは研究目的のみで使用されます。

お問い合わせ

この実験バージョンは、テキサスA&M大学のXiaotian Hanによって開発されています。これらの実験バージョンは研究目的のみを対象としています。