Sheared LLaMA 2.7B

🚀 Sheared-LLaMA模型

Sheared-LLaMA是一系列基于Llama2进行剪枝和进一步预训练的模型，在多种下游任务中表现出色，能以较少的预训练令牌实现较高的平均性能。

🚀 快速开始

Sheared-LLaMA-2.7B 是从 meta-llama/Llama-2-7b-hf 剪枝并进一步预训练得到的模型。我们从 RedPajama 数据集 中不同领域动态加载数据。使用 0.4B 令牌进行剪枝，使用 50B 令牌对剪枝后的模型进行继续预训练。可以通过以下代码将该模型加载到 Hugging Face 中：

model = AutoModelForCausalLM.from_pretrained("princeton-nlp/Sheared-LLaMA-2.7B")

✨ 主要特性

• 规模更小：具有较小的模型规模。
• 词汇相同：与 LLaMA1 和 LLaMA2 使用相同的词汇。
• 高效派生：利用现有的强大大语言模型，以 50B 令牌的预算派生而来。

📚 详细文档

模型链接

• 论文：https://arxiv.org/pdf/2310.06694.pdf
• 代码：https://github.com/princeton-nlp/LLM-Shearing
• 模型：
  • Sheared-LLaMA-1.3B
  • Sheared-LLaMA-2.7B
• 未继续预训练的剪枝模型：
  • Sheared-LLaMA-1.3B-Pruned
  • Sheared-LLaMA-2.7B-Pruned
• 指令调优模型：
  • Sheared-LLaMA-1.3B-ShareGPT
  • Sheared-LLaMA-2.7B-ShareGPT

下游任务评估

我们在包括推理、阅读理解、语言建模和知识密集型任务等广泛的下游任务上进行了评估。我们的 Sheared-LLaMA 模型优于现有的大语言模型。

LLaMA2-7B 对比

1.3B 模型对比

3B 模型对比

Bibtex引用

@article{xia2023sheared,
  title={Sheared llama: Accelerating language model pre-training via structured pruning},
  author={Xia, Mengzhou and Gao, Tianyu and Zeng, Zhiyuan and Chen, Danqi},
  journal={arXiv preprint arXiv:2310.06694},
  year={2023}
}

📄 许可证

由于 Sheared-LLaMA 是基于 Llama2 派生的模型，因此必须遵守 Llama2 的许可证。许可证类型为 Apache-2.0。