Sheared LLaMA 1.3B Pruned

🚀 Sheared-LLaMA

Sheared-LLaMAは、Llama2をベースにしたモデルで、様々なサイズのモデルやプルーニング済みモデルを提供し、大規模言語モデルの研究に役立ちます。

🚀 クイックスタート

このプロジェクトでは、Sheared-LLaMAに関する様々なリソースを提供しています。以下に主なリンクを示します。

• 論文: https://arxiv.org/pdf/2310.06694.pdf
• コード: https://github.com/princeton-nlp/LLM-Shearing
• モデル:
  • Sheared-LLaMA-1.3B
  • Sheared-LLaMA-2.7B
• 継続事前学習なしのプルーニング済みモデル:
  • Sheared-LLaMA-1.3B-Pruned
  • Sheared-LLaMA-2.7B-Pruned
• 命令微調整済みモデル:
  • Sheared-LLaMA-1.3B-ShareGPT
  • Sheared-LLaMA-2.7B-ShareGPT

📄 ライセンス

このモデルはLlama2から派生したものであるため、Llama2のライセンスに準拠する必要があります。

🔧 技術詳細

Sheared-LLaMA-1.3B-Prunedは、meta-llama/Llama-2-7b-hf から継続事前学習なしでプルーニングされたモデルです。約0.4Bトークンを使用してプルーニング実験を行いました。このモデルは以下の研究に役立つ可能性があります。

• 継続事前学習のための効果的なデータ混合
• 他のプルーニング技術との比較
• プルーニングが大規模言語モデルの知識と推論能力にどのように影響するかを理解するための広範な評価