Sheared LLaMA 1.3B

🚀 Sheared-LLaMA

Sheared-LLaMAは、LLaMA2をベースに構造化プルーニングを行い、事前学習を加速させた言語モデルです。このモデルは、少ない事前学習トークンで高い性能を発揮し、下流タスクで既存の大規模言語モデルを上回る結果を示します。

🚀 クイックスタート

モデルの読み込み

Sheared-LLaMA-1.3Bモデルは、HuggingFaceを通じて以下のように読み込むことができます。

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("princeton-nlp/Sheared-LLaMA-1.3B")

✨ 主な機能

• 小規模: 少ないパラメータで高い性能を実現
• LLaMA1とLLaMA2と同じ語彙: 既存のLLaMAモデルと互換性がある
• 既存の強力なLLMを活用: 50Bトークンの予算で派生させたモデル

📚 ドキュメント

関連リンク

• 論文: https://arxiv.org/pdf/2310.06694.pdf
• コード: https://github.com/princeton-nlp/LLM-Shearing
• モデル:
  • Sheared-LLaMA-1.3B
  • Sheared-LLaMA-2.7B
• プルーニング後のモデル:
  • Sheared-LLaMA-1.3B-Pruned
  • Sheared-LLaMA-2.7B-Pruned
• 命令微調整済みモデル:
  • Sheared-LLaMA-1.3B-ShareGPT
  • Sheared-LLaMA-2.7B-ShareGPT

モデルの詳細

Sheared-LLaMA-1.3Bは、meta-llama/Llama-2-7b-hfからプルーニングし、さらに事前学習を行ったモデルです。RedPajamaデータセットのさまざまなドメインからデータを動的にロードし、モデルのプルーニングと事前学習を行います。プルーニングには0.4Bトークン、事前学習には50Bトークンを使用しています。

下流タスクの評価

Sheared-LLaMAモデルは、推論、読解、言語モデリング、知識集約型タスクなどの幅広い下流タスクで評価されています。結果は、既存の大規模言語モデルを上回る性能を示しています。

1.3Bモデルの比較

3Bモデルの比較

Open LLM Leaderboardの評価結果

詳細な結果はこちらで確認できます。

🔧 技術詳細

Sheared-LLaMAは、構造化プルーニングを用いて事前学習を加速させる手法を採用しています。この手法により、少ない事前学習トークンで高い性能を達成することができます。

📄 ライセンス

このモデルはLlama2から派生しているため、Llama2のライセンスに準拠する必要があります。ライセンスはApache-2.0です。

Bibtex

@article{xia2023sheared,
  title={Sheared llama: Accelerating language model pre-training via structured pruning},
  author={Xia, Mengzhou and Gao, Tianyu and Zeng, Zhiyuan and Chen, Danqi},
  journal={arXiv preprint arXiv:2310.06694},
  year={2023}
}