Open Llama 3b

🚀 OpenLLaMA: LLaMAのオープンな再現版

このリポジトリでは、Meta AIのLLaMA大規模言語モデルのオープンソースな再現版を公開しています。1兆トークンで学習させた70億パラメータと30億パラメータのモデル、および6000億トークンで学習させた130億パラメータのモデルのプレビューをリリースしています。事前学習済みのOpenLLaMAモデルのPyTorchとJAXの重み、評価結果、およびオリジナルのLLaMAモデルとの比較を提供しています。詳細については、OpenLLaMAのプロジェクトホームページを参照してください。

🚀 クイックスタート

このセクションでは、OpenLLaMAの重みのリリース、ライセンス、使用方法、データセットと学習、評価などの基本的な情報を説明します。

✨ 主な機能

• Meta AIのLLaMAモデルのオープンソースな再現版を提供
• 7B、3B、13Bのモデルを公開
• PyTorchとJAXの重みを提供
• 評価結果とオリジナルのLLaMAモデルとの比較を提供

📦 インストール

重みのリリース、ライセンスと使用方法

重みは2つの形式でリリースしています。1つはEasyLMフレームワークで使用するためのEasyLM形式、もう1つはHugging Face transformersライブラリで使用するためのPyTorch形式です。学習フレームワークEasyLMとチェックポイントの重みはどちらも、Apache 2.0ライセンスの下で許容的にライセンスされています。

Hugging Face Transformersでの重みの読み込み

プレビュー用のチェックポイントは、Hugging Face Hubから直接読み込むことができます。現在のところ、Hugging Faceの高速トークナイザーの使用は避けることをお勧めします。自動変換された高速トークナイザーが正しくないトークン化を行うことがあることが観察されています。 これは、LlamaTokenizerクラスを直接使用するか、AutoTokenizerクラスにuse_fast=Falseオプションを渡すことで実現できます。使用例を以下に示します。

import torch
from transformers import LlamaTokenizer, LlamaForCausalLM

model_path = 'openlm-research/open_llama_3b'
# model_path = 'openlm-research/open_llama_7b'

tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16, device_map='auto',
)

prompt = 'Q: What is the largest animal?\nA:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

generation_output = model.generate(
    input_ids=input_ids, max_new_tokens=32
)
print(tokenizer.decode(generation_output[0]))

より高度な使用方法については、transformersのLLaMAドキュメントを参照してください。

lm-eval-harnessでの評価

モデルは、lm-eval-harnessを使用して評価することができます。ただし、前述のトークナイザーの問題のため、正しい結果を得るには高速トークナイザーの使用を避ける必要があります。これは、lm-eval-harnessのこの部分にuse_fast=Falseを渡すことで実現できます。例を以下に示します。

tokenizer = self.AUTO_TOKENIZER_CLASS.from_pretrained(
    pretrained if tokenizer is None else tokenizer,
    revision=revision + ("/" + subfolder if subfolder is not None else ""),
    use_fast=False
)

EasyLMでの重みの読み込み

EasyLMフレームワークで重みを使用するには、EasyLMのLLaMAドキュメントを参照してください。オリジナルのLLaMAモデルとは異なり、OpenLLaMAのトークナイザーと重みは完全にゼロから学習されているため、オリジナルのLLaMAのトークナイザーと重みを取得する必要はありません。学習中にBOS（文頭）トークン（id=1）を使用しているため、少数ショット評価時にはこのトークンを先頭に付けると最良のパフォーマンスが得られます。

💻 使用例

基本的な使用法

import torch
from transformers import LlamaTokenizer, LlamaForCausalLM

model_path = 'openlm-research/open_llama_3b'
# model_path = 'openlm-research/open_llama_7b'

tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16, device_map='auto',
)

prompt = 'Q: What is the largest animal?\nA:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

generation_output = model.generate(
    input_ids=input_ids, max_new_tokens=32
)
print(tokenizer.decode(generation_output[0]))

高度な使用法

tokenizer = self.AUTO_TOKENIZER_CLASS.from_pretrained(
    pretrained if tokenizer is None else tokenizer,
    revision=revision + ("/" + subfolder if subfolder is not None else ""),
    use_fast=False
)

📚 ドキュメント

データセットと学習

モデルは、Togetherによって公開されたRedPajamaデータセットで学習されています。これは、1.2兆トークン以上を含むLLaMA学習データセットの再現版です。オリジナルのLLaMA論文とまったく同じ前処理手順と学習ハイパーパラメータを使用しています。モデルアーキテクチャ、コンテキスト長、学習ステップ、学習率スケジュール、オプティマイザーなどです。設定とオリジナルの設定の唯一の違いは、使用するデータセットです。OpenLLaMAはRedPajamaデータセットを使用しており、オリジナルのLLaMAが使用していたデータセットではありません。

モデルは、大規模言語モデルの学習と微調整に開発したJAXベースの学習パイプラインであるEasyLMを使用して、クラウドのTPU-v4上で学習されています。通常のデータ並列化と完全分割型データ並列化（ZeROステージ3とも呼ばれる）を組み合わせて、学習スループットとメモリ使用量のバランスを取っています。全体として、7BモデルではTPU-v4チップあたり秒あたり2200トークン以上のスループットを達成しています。

評価

lm-evaluation-harnessを使用して、幅広いタスクでOpenLLaMAを評価しました。LLaMAの結果は、同じ評価指標でオリジナルのLLaMAモデルを実行することで生成されています。LLaMAモデルの結果は、オリジナルのLLaMA論文とわずかに異なっています。これは、異なる評価プロトコルの結果であると考えています。同様の違いが、lm-evaluation-harnessのこの問題で報告されています。また、EleutherAIによってPileデータセットで学習された60億パラメータのモデルであるGPT-Jの結果も提示しています。

オリジナルのLLaMAモデルは1兆トークンで学習され、GPT-Jは5000億トークンで学習されています。結果を以下の表に示します。OpenLLaMAは、大多数のタスクでオリジナルのLLaMAとGPT-Jと同等のパフォーマンスを示し、一部のタスクではそれらを上回っています。

ベンチマークからタスクCBとWSCを削除しました。これらの2つのタスクでモデルのパフォーマンスが疑わしいほど良いためです。学習セットにベンチマークデータの汚染がある可能性があると推測しています。

🔧 技術詳細

本プロジェクトでは、大規模言語モデルの学習と微調整にJAXベースの学習パイプラインであるEasyLMを使用しています。通常のデータ並列化と完全分割型データ並列化（ZeROステージ3）を組み合わせて、学習スループットとメモリ使用量のバランスを取っています。7BモデルではTPU-v4チップあたり秒あたり2200トークン以上のスループットを達成しています。

📄 ライセンス

学習フレームワークEasyLMとチェックポイントの重みは、Apache 2.0ライセンスの下で許容的にライセンスされています。

連絡先

コミュニティからのフィードバックを歓迎しています。質問がある場合は、issueを開くか、お問い合わせください。

OpenLLaMAは、Berkeley AI ResearchのXinyang Geng* と Hao Liu* によって開発されています。 *同等の貢献

謝辞

計算リソースの一部を提供してくれたGoogle TPU Research Cloudプログラムに感謝します。計算リソースの整理を手伝ってくれたTPU Research CloudのJonathan Caton、学習スループットの最適化を手伝ってくれたGoogle CloudチームのRafi WittenとGoogle JAXチームのJames Bradburyに特別な感謝を送ります。また、議論とフィードバックを提供してくれたCharlie Snell、Gautier Izacard、Eric Wallace、Lianmin Zheng、およびユーザーコミュニティにも感謝します。

OpenLLaMA 13Bモデルは、Stability AIと共同で学習されています。計算リソースを提供してくれたStability AIに感謝します。特に、物流の調整とエンジニアリングサポートを提供してくれたDavid HaとShivanshu Purohitに感謝します。

参考文献

OpenLLaMAをあなたの研究やアプリケーションで役立つと思った場合は、以下のBibTeXを使用して引用してください。

@software{openlm2023openllama,
  author = {Geng, Xinyang and Liu, Hao},
  title = {OpenLLaMA: An Open Reproduction of LLaMA},
  month = May,
  year = 2023,
  url = {https://github.com/openlm-research/open_llama}
}

@software{together2023redpajama,
  author = {Together Computer},
  title = {RedPajama-Data: An Open Source Recipe to Reproduce LLaMA training dataset},
  month = April,
  year = 2023,
  url = {https://github.com/togethercomputer/RedPajama-Data}
}

@article{touvron2023llama,
  title={Llama: Open and efficient foundation language models},
  author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{\'e}e and Rozi{\`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and others},
  journal={arXiv preprint arXiv:2302.13971},
  year={2023}
}