Sheared LLaMA 1.3B

🚀 Sheared-LLaMA模型

Sheared-LLaMA是從Llama2派生而來的模型，通過結構化剪枝和進一步預訓練，在較小的預訓練預算下實現了出色的性能，為大語言模型的發展提供了新的思路和方法。

🚀 快速開始

模型加載

Sheared-LLaMA-1.3B 模型可以通過HuggingFace加載，代碼如下：

model = AutoModelForCausalLM.from_pretrained("princeton-nlp/Sheared-LLaMA-1.3B")

✨ 主要特性

• 規模更小：Sheared-LLaMA模型在較小的規模下實現了較好的性能。
• 詞彙表一致：與LLaMA1和LLaMA2使用相同的詞彙表。
• 高效派生：利用現有的強大大語言模型，在50B令牌的預算下派生而來。

📚 詳細文檔

模型來源

Sheared-LLaMA-1.3B是從 meta-llama/Llama-2-7b-hf 剪枝並進一步預訓練得到的模型。我們從 RedPajama數據集 的不同領域動態加載數據，對模型進行剪枝和繼續預訓練。剪枝使用了0.4B令牌，對剪枝後的模型繼續預訓練使用了50B令牌。

下游任務評估

我們在包括推理、閱讀理解、語言建模和知識密集型任務等廣泛的下游任務上進行了評估。我們的Sheared-LLaMA模型優於現有的大語言模型。以下是不同模型在不同規模下的平均性能對比：

7B規模

1.3B規模

3B規模

Open LLM Leaderboard評估結果

詳細結果可查看 此處

📄 許可證

由於Sheared-LLaMA是從Llama2派生而來的模型，因此必須遵守Llama2的許可證。本項目採用Apache-2.0許可證。

📚 引用信息

如果您使用了本項目的模型或代碼，請引用以下論文：

@article{xia2023sheared,
  title={Sheared llama: Accelerating language model pre-training via structured pruning},
  author={Xia, Mengzhou and Gao, Tianyu and Zeng, Zhiyuan and Chen, Danqi},
  journal={arXiv preprint arXiv:2310.06694},
  year={2023}
}

相關鏈接

• 論文：https://arxiv.org/pdf/2310.06694.pdf
• 代碼：https://github.com/princeton-nlp/LLM-Shearing
• 模型：Sheared-LLaMA-1.3B，Sheared-LLaMA-2.7B
• 未繼續預訓練的剪枝模型：Sheared-LLaMA-1.3B-Pruned，Sheared-LLaMA-2.7B-Pruned
• 指令微調模型：Sheared-LLaMA-1.3B-ShareGPT，Sheared-LLaMA-2.7B-ShareGPT