Sheared LLaMA 2.7B

🚀 Sheared-LLaMA

Sheared-LLaMAは、Llama2をベースに構築された言語モデルで、構造化プルーニングを用いて事前学習を高速化します。このモデルは、小規模でありながら、既存の大規模言語モデルを上回る性能を発揮します。

🚀 クイックスタート

Sheared-LLaMA-2.7Bは、meta-llama/Llama-2-7b-hf からプルーニングされ、さらに事前学習されたモデルです。このモデルは、RedPajamaデータセット の異なるドメインから動的にデータをロードします。プルーニングには0.4Bトークンを、プルーニングされたモデルの継続的な事前学習には50Bトークンを使用しています。このモデルは、以下のコードを使用してHugging Faceからロードすることができます。

model = AutoModelForCausalLM.from_pretrained("princeton-nlp/Sheared-LLaMA-2.7B")

✨ 主な機能

• 小規模でありながら高性能を発揮します。
• LLaMA1とLLaMA2と同じ語彙を持っています。
• 既存の強力な大規模言語モデルを活用して、50Bトークンの予算で派生されています。

📚 ドキュメント

論文とコード

• 論文: https://arxiv.org/pdf/2310.06694.pdf
• コード: https://github.com/princeton-nlp/LLM-Shearing

モデル

• 通常のモデル: Sheared-LLaMA-1.3B, Sheared-LLaMA-2.7B
• プルーニングされたモデル: Sheared-LLaMA-1.3B-Pruned, Sheared-LLaMA-2.7B-Pruned
• 命令調整されたモデル: Sheared-LLaMA-1.3B-ShareGPT, Sheared-LLaMA-2.7B-ShareGPT

ライセンス

このモデルはLlama2から派生しているため、Llama2のライセンスに準拠する必要があります。

下流タスク

我々は、推論、読解、言語モデリング、知識集約型タスクなどの幅広い下流タスクで評価を行っています。Sheared-LLaMAモデルは、既存の大規模言語モデルを上回る性能を発揮します。

7Bモデル

1.3Bモデル

3Bモデル

Bibtex

@article{xia2023sheared,
  title={Sheared llama: Accelerating language model pre-training via structured pruning},
  author={Xia, Mengzhou and Gao, Tianyu and Zeng, Zhiyuan and Chen, Danqi},
  journal={arXiv preprint arXiv:2310.06694},
  year={2023}
}

📄 ライセンス

Apache-2.0ライセンスに準拠しています。ただし、Llama2から派生しているため、Llama2のライセンスにも準拠する必要があります。