Open Llama 13b

🚀 OpenLLaMA: LLaMAのオープンな再現

このリポジトリでは、Meta AIのLLaMA大規模言語モデルを許容的なライセンスでオープンソースで再現したものを公開しています。1兆トークンで学習させた3B、7B、13Bモデルをリリースしています。事前学習済みのOpenLLaMAモデルのPyTorchとJAXの重み、評価結果、およびオリジナルのLLaMAモデルとの比較を提供しています。詳細については、OpenLLaMAのプロジェクトホームページを参照してください。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。

🚀 クイックスタート

✨ 主な機能

• 1兆トークンで学習させた3B、7B、13Bモデルを提供。
• PyTorchとJAXの重みを提供。
• 評価結果とオリジナルのLLaMAモデルとの比較を提供。

📦 インストール

本READMEには具体的なインストール手順が記載されていないため、このセクションは省略します。

💻 使用例

基本的な使用法

import torch
from transformers import LlamaTokenizer, LlamaForCausalLM

# model_path = 'openlm-research/open_llama_3b'
# model_path = 'openlm-research/open_llama_7b'
model_path = 'openlm-research/open_llama_13b'

tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16, device_map='auto',
)

prompt = 'Q: What is the largest animal?\nA:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

generation_output = model.generate(
    input_ids=input_ids, max_new_tokens=32
)
print(tokenizer.decode(generation_output[0]))

高度な使用法

本READMEに高度な使用法の具体的なコード例が記載されていないため、このサブセクションは省略します。

📚 ドキュメント

重みのリリース、ライセンス、および使用方法

重みは2つの形式でリリースしています。1つはEasyLMフレームワークで使用するためのEasyLM形式、もう1つはHugging Face transformersライブラリで使用するためのPyTorch形式です。学習フレームワークのEasyLMとチェックポイントの重みはどちらも、Apache 2.0ライセンスの下で許容的にライセンスされています。

Hugging Face Transformersを使用した重みの読み込み

プレビューチェックポイントは、Hugging Face Hubから直接読み込むことができます。現在のところ、Hugging Faceの高速トークナイザーの使用は避けることをお勧めします。自動変換された高速トークナイザーが正しくないトークン化を行うことがあることが観察されています。 これは、LlamaTokenizerクラスを直接使用するか、AutoTokenizerクラスにuse_fast=Falseオプションを渡すことで実現できます。使用例は上記のコードを参照してください。

⚠️ 重要提示

現在のところ、Hugging Faceの高速トークナイザーの使用は避けることをお勧めします。自動変換された高速トークナイザーが正しくないトークン化を行うことがあることが観察されています。

より高度な使用方法については、transformers LLaMAドキュメントを参照してください。

LM-Eval-Harnessを使用した評価

モデルはlm-eval-harnessを使用して評価できます。ただし、前述のトークナイザーの問題のため、正しい結果を得るには高速トークナイザーの使用を避ける必要があります。これは、lm-eval-harnessのこの部分にuse_fast=Falseを渡すことで実現できます。例を以下に示します。

tokenizer = self.AUTO_TOKENIZER_CLASS.from_pretrained(
    pretrained if tokenizer is None else tokenizer,
    revision=revision + ("/" + subfolder if subfolder is not None else ""),
    use_fast=False
)

EasyLMを使用した重みの読み込み

EasyLMフレームワークで重みを使用するには、EasyLMのLLaMAドキュメントを参照してください。オリジナルのLLaMAモデルとは異なり、OpenLLaMAのトークナイザーと重みは完全にゼロから学習されているため、オリジナルのLLaMAトークナイザーと重みを取得する必要はありません。学習中にBOS（文頭）トークン（id=1）を使用しているため、Few-shot評価ではこのトークンを先頭に付けると最適なパフォーマンスが得られます。

🔧 技術詳細

データセットと学習

モデルは、TogetherがリリースしたRedPajamaデータセットで学習させています。これは、1.2兆トークン以上を含むLLaMA学習データセットの再現版です。オリジナルのLLaMA論文とまったく同じ前処理手順と学習ハイパーパラメータ（モデルアーキテクチャ、コンテキスト長、学習ステップ、学習率スケジュール、オプティマイザーなど）を使用しています。設定とオリジナルの唯一の違いは、使用するデータセットです。OpenLLaMAはRedPajamaデータセットを使用しており、オリジナルのLLaMAが使用していたデータセットではありません。

モデルは、大規模言語モデルの学習と微調整に開発したJAXベースの学習パイプラインであるEasyLMを使用して、クラウドのTPU-v4で学習させています。通常のデータ並列化と完全シャード化データ並列化（ZeROステージ3とも呼ばれる）を組み合わせて、学習スループットとメモリ使用量のバランスを取っています。全体として、7BモデルではTPU-v4チップあたり2200トークン/秒以上のスループットを達成しています。

評価

lm-evaluation-harnessを使用して、幅広いタスクでOpenLLaMAを評価しました。LLaMAの結果は、同じ評価指標でオリジナルのLLaMAモデルを実行することで生成されています。LLaMAモデルの結果は、オリジナルのLLaMA論文とわずかに異なっていますが、これは評価プロトコルの違いによるものと考えています。同様の違いがlm-evaluation-harnessのこのissueで報告されています。また、EleutherAIによってPileデータセットで学習させた6BパラメータのモデルであるGPT-Jの結果も提示しています。

オリジナルのLLaMAモデルは1兆トークンで学習させ、GPT-Jは5000億トークンで学習させました。結果を以下の表に示します。OpenLLaMAは、大多数のタスクでオリジナルのLLaMAとGPT-Jと同等のパフォーマンスを示し、一部のタスクではそれらを上回っています。

モデルがこれら2つのタスクで疑わしいほど良いパフォーマンスを示すため、タスクCBとWSCをベンチマークから除外しました。学習セットにベンチマークデータの汚染がある可能性があると仮定しています。

コンタクト

コミュニティからのフィードバックを歓迎しています。質問があれば、issueを開くか、お問い合わせください。

OpenLLaMAは、Berkeley AI ResearchのXinyang Geng* と Hao Liu*によって開発されています。 *同等の貢献

謝辞

計算リソースの一部を提供してくれたGoogle TPU Research Cloudプログラムに感謝します。計算リソースの整理を手伝ってくれたTPU Research CloudのJonathan Caton、学習スループットの最適化を手伝ってくれたGoogle CloudチームのRafi WittenとGoogle JAXチームのJames Bradburyに特別に感謝します。また、議論とフィードバックを提供してくれたCharlie Snell、Gautier Izacard、Eric Wallace、Lianmin Zheng、およびユーザーコミュニティにも感謝します。

OpenLLaMA 13Bモデルは、Stability AIと共同で学習させており、計算リソースを提供してくれたStability AIに感謝します。特に、物流の調整とエンジニアリングサポートを提供してくれたDavid HaとShivanshu Purohitに感謝します。

参考文献

OpenLLaMAがあなたの研究やアプリケーションで役立った場合は、以下のBibTeXを使用して引用してください。

@software{openlm2023openllama,
  author = {Geng, Xinyang and Liu, Hao},
  title = {OpenLLaMA: An Open Reproduction of LLaMA},
  month = May,
  year = 2023,
  url = {https://github.com/openlm-research/open_llama}
}

@software{together2023redpajama,
  author = {Together Computer},
  title = {RedPajama-Data: An Open Source Recipe to Reproduce LLaMA training dataset},
  month = April,
  year = 2023,
  url = {https://github.com/togethercomputer/RedPajama-Data}
}

@article{touvron2023llama,
  title={Llama: Open and efficient foundation language models},
  author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{\'e}e and Rozi{\`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and others},
  journal={arXiv preprint arXiv:2302.13971},
  year={2023}
}