Sheared LLaMA 1.3B Pruned

🚀 Sheared-LLaMA

Sheared-LLaMA是基於Llama2派生的模型，提供了不同規模和類型的模型版本，可用於研究持續預訓練的數據混合、剪枝技術對比以及剪枝對大語言模型知識和推理能力的影響等。

🚀 快速開始

相關資源鏈接

• 論文：https://arxiv.org/pdf/2310.06694.pdf
• 代碼：https://github.com/princeton-nlp/LLM-Shearing
• 模型：
  • Sheared-LLaMA-1.3B
  • Sheared-LLaMA-2.7B
• 未進行持續預訓練的剪枝模型：
  • Sheared-LLaMA-1.3B-Pruned
  • Sheared-LLaMA-2.7B-Pruned
• 指令調優模型：
  • Sheared-LLaMA-1.3B-ShareGPT
  • Sheared-LLaMA-2.7B-ShareGPT

📄 許可證

由於Sheared-LLaMA是基於Llama2派生的模型，因此必須遵守Llama2的許可證。

🔧 技術細節

Sheared-LLaMA-1.3B-Pruned是從 meta-llama/Llama-2-7b-hf 未進行持續預訓練 而剪枝得到的模型。我們使用了大約 0.4B 個token進行剪枝實驗。該模型可用於以下研究：

• 持續預訓練的有效數據混合
• 與其他剪枝技術的比較
• 深入評估剪枝對大語言模型知識和推理能力的影響