Open Llama 3b V2

🚀 OpenLLaMA: LLaMAのオープンな再現

OpenLLaMAは、Meta AIのLLaMAをオープンソースで再現したプロジェクトです。3B、7B、13Bのモデルを公開しており、既存の実装でLLaMAの代替として利用できます。

🚀 クイックスタート

本レポジトリでは、Meta AIのLLaMA大規模言語モデルを許容的なライセンスでオープンソースで再現しています。1Tトークンで学習させた3B、7B、13Bのモデルシリーズを公開しています。事前学習済みのOpenLLaMAモデルのPyTorchとJAXの重み、評価結果、およびオリジナルのLLaMAモデルとの比較も提供しています。v2モデルは、異なるデータミックスで学習させた古いv1モデルよりも優れています。詳細については、OpenLLaMAのプロジェクトホームページを参照してください。

✨ 主な機能

• オープンソースで再現されたLLaMAモデルを提供します。
• 2種類の形式（EasyLM形式とPyTorch形式）で重みを公開しています。
• 広範なタスクでの評価結果を提供しています。

📦 インストール

重みの公開、ライセンス、および使用方法

重みは2種類の形式で公開しています。1つはEasyLMフレームワークで使用するためのEasyLM形式で、もう1つはHugging Face transformersライブラリで使用するためのPyTorch形式です。学習フレームワークのEasyLMとチェックポイントの重みはどちらも、Apache 2.0ライセンスの下で許容的にライセンスされています。

Hugging Face Transformersを使用した重みの読み込み

プレビューチェックポイントは、Hugging Face Hubから直接読み込むことができます。現時点では、Hugging Faceの高速トークナイザーの使用は避けることをお勧めします。 自動変換された高速トークナイザーが正しくないトークン化を行うことがあるためです。 これは、LlamaTokenizerクラスを直接使用するか、AutoTokenizerクラスにuse_fast=Falseオプションを渡すことで実現できます。使用例を以下に示します。

import torch
from transformers import LlamaTokenizer, LlamaForCausalLM

## v2 models
model_path = 'openlm-research/open_llama_3b_v2'
# model_path = 'openlm-research/open_llama_7b_v2'

## v1 models
# model_path = 'openlm-research/open_llama_3b'
# model_path = 'openlm-research/open_llama_7b'
# model_path = 'openlm-research/open_llama_13b'

tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16, device_map='auto',
)

prompt = 'Q: What is the largest animal?\nA:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

generation_output = model.generate(
    input_ids=input_ids, max_new_tokens=32
)
print(tokenizer.decode(generation_output[0]))

より高度な使用方法については、transformers LLaMAのドキュメントを参照してください。

LM-Eval-Harnessを使用した評価

モデルは、lm-eval-harnessを使用して評価することができます。ただし、前述のトークナイザーの問題のため、正しい結果を得るには高速トークナイザーの使用を避ける必要があります。これは、lm-eval-harnessのこの部分にuse_fast=Falseを渡すことで実現できます。以下に例を示します。

tokenizer = self.AUTO_TOKENIZER_CLASS.from_pretrained(
    pretrained if tokenizer is None else tokenizer,
    revision=revision + ("/" + subfolder if subfolder is not None else ""),
    use_fast=False
)

EasyLMを使用した重みの読み込み

EasyLMフレームワークで重みを使用する場合は、EasyLMのLLaMAドキュメントを参照してください。オリジナルのLLaMAモデルとは異なり、OpenLLaMAのトークナイザーと重みは完全にゼロから学習されているため、オリジナルのLLaMAトークナイザーと重みを取得する必要はありません。

💻 使用例

基本的な使用法

import torch
from transformers import LlamaTokenizer, LlamaForCausalLM

## v2 models
model_path = 'openlm-research/open_llama_3b_v2'
# model_path = 'openlm-research/open_llama_7b_v2'

## v1 models
# model_path = 'openlm-research/open_llama_3b'
# model_path = 'openlm-research/open_llama_7b'
# model_path = 'openlm-research/open_llama_13b'

tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16, device_map='auto',
)

prompt = 'Q: What is the largest animal?\nA:'
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

generation_output = model.generate(
    input_ids=input_ids, max_new_tokens=32
)
print(tokenizer.decode(generation_output[0]))

高度な使用法

# 高度な使用法については、transformers LLaMAのドキュメントを参照してください。
# 具体的なコード例は省略します。

📚 ドキュメント

データセットと学習

v1モデルは、RedPajamaデータセットで学習されています。v2モデルは、Falcon refined-webデータセット、StarCoderデータセット、およびRedPajamaデータセットのウィキペディア、arXiv、書籍、およびStack Exchangeの部分のデータミックスで学習されています。オリジナルのLLaMA論文とまったく同じ前処理手順と学習ハイパーパラメータを使用しています。モデルアーキテクチャ、コンテキスト長、学習ステップ、学習率スケジュール、およびオプティマイザーも同じです。設定とオリジナルの唯一の違いは、使用するデータセットです。OpenLLaMAはオープンデータセットを使用しており、オリジナルのLLaMAが使用しているデータセットとは異なります。

EasyLMを使用して、クラウドのTPU-v4でモデルを学習させています。EasyLMは、大規模言語モデルの学習と微調整に開発したJAXベースの学習パイプラインです。通常のデータ並列化と完全シャード化されたデータ並列化（ZeROステージ3とも呼ばれる）を組み合わせて、学習スループットとメモリ使用量のバランスを取っています。全体として、7BモデルではTPU-v4チップあたり2200トークン/秒以上のスループットを達成しています。

評価

lm-evaluation-harnessを使用して、幅広いタスクでOpenLLaMAを評価しました。LLaMAの結果は、同じ評価指標でオリジナルのLLaMAモデルを実行することで生成されました。LLaMAモデルの結果は、オリジナルのLLaMA論文とわずかに異なっています。これは、異なる評価プロトコルの結果であると考えています。同様の違いがlm-evaluation-harnessのこの問題で報告されています。また、EleutherAIによってPileデータセットで学習された6BパラメータのモデルであるGPT-Jの結果も提示しています。

オリジナルのLLaMAモデルは1兆トークンで学習され、GPT-Jは5000億トークンで学習されました。結果を以下の表に示します。OpenLLaMAは、大多数のタスクでオリジナルのLLaMAとGPT-Jと同等の性能を示し、一部のタスクではそれらを上回っています。

ベンチマークからタスクのCBとWSCを削除しました。これらの2つのタスクでモデルが疑わしいほど高い性能を示したためです。学習セットにベンチマークデータの汚染がある可能性があると推測しています。

連絡先

コミュニティからのフィードバックを歓迎しています。質問があれば、issueを開くか、お問い合わせください。

OpenLLaMAは、Berkeley AI ResearchのXinyang Geng* と Hao Liu* によって開発されています。 *同等の貢献

謝辞

計算リソースの一部を提供してくれたGoogle TPU Research Cloudプログラムに感謝します。計算リソースの整理を手伝ってくれたTPU Research CloudのJonathan Caton、学習スループットの最適化を手伝ってくれたGoogle CloudチームのRafi WittenとGoogle JAXチームのJames Bradburyに特別に感謝します。また、議論とフィードバックをくれたCharlie Snell、Gautier Izacard、Eric Wallace、Lianmin Zheng、およびユーザーコミュニティにも感謝します。

OpenLLaMA 13B v1モデルは、Stability AIと共同で学習されており、計算リソースを提供してくれたStability AIに感謝します。物流の調整とエンジニアリングサポートを提供してくれたDavid HaとShivanshu Purohitに特に感謝します。

参考文献

OpenLLaMAがあなたの研究やアプリケーションで役立った場合は、以下のBibTeXを使用して引用してください。

@software{openlm2023openllama,
  author = {Geng, Xinyang and Liu, Hao},
  title = {OpenLLaMA: An Open Reproduction of LLaMA},
  month = May,
  year = 2023,
  url = {https://github.com/openlm-research/open_llama}
}

@software{together2023redpajama,
  author = {Together Computer},
  title = {RedPajama-Data: An Open Source Recipe to Reproduce LLaMA training dataset},
  month = April,
  year = 2023,
  url = {https://github.com/togethercomputer/RedPajama-Data}
}

@article{touvron2023llama,
  title={Llama: Open and efficient foundation language models},
  author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{\'e}e and Rozi{\`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and others},
  journal={arXiv preprint arXiv:2302.13971},
  year={2023}
}

📄 ライセンス

本プロジェクトは、Apache 2.0ライセンスの下で公開されています。