Sheared LLaMA 2.7B

🚀 Sheared-LLaMA模型

Sheared-LLaMA是一系列基於Llama2進行剪枝和進一步預訓練的模型，在多種下游任務中表現出色，能以較少的預訓練令牌實現較高的平均性能。

🚀 快速開始

Sheared-LLaMA-2.7B 是從 meta-llama/Llama-2-7b-hf 剪枝並進一步預訓練得到的模型。我們從 RedPajama 數據集 中不同領域動態加載數據。使用 0.4B 令牌進行剪枝，使用 50B 令牌對剪枝後的模型進行繼續預訓練。可以通過以下代碼將該模型加載到 Hugging Face 中：

model = AutoModelForCausalLM.from_pretrained("princeton-nlp/Sheared-LLaMA-2.7B")

✨ 主要特性

• 規模更小：具有較小的模型規模。
• 詞彙相同：與 LLaMA1 和 LLaMA2 使用相同的詞彙。
• 高效派生：利用現有的強大大語言模型，以 50B 令牌的預算派生而來。

📚 詳細文檔

模型鏈接

• 論文：https://arxiv.org/pdf/2310.06694.pdf
• 代碼：https://github.com/princeton-nlp/LLM-Shearing
• 模型：
  • Sheared-LLaMA-1.3B
  • Sheared-LLaMA-2.7B
• 未繼續預訓練的剪枝模型：
  • Sheared-LLaMA-1.3B-Pruned
  • Sheared-LLaMA-2.7B-Pruned
• 指令調優模型：
  • Sheared-LLaMA-1.3B-ShareGPT
  • Sheared-LLaMA-2.7B-ShareGPT

下游任務評估

我們在包括推理、閱讀理解、語言建模和知識密集型任務等廣泛的下游任務上進行了評估。我們的 Sheared-LLaMA 模型優於現有的大語言模型。

LLaMA2-7B 對比

1.3B 模型對比

3B 模型對比

Bibtex引用

@article{xia2023sheared,
  title={Sheared llama: Accelerating language model pre-training via structured pruning},
  author={Xia, Mengzhou and Gao, Tianyu and Zeng, Zhiyuan and Chen, Danqi},
  journal={arXiv preprint arXiv:2310.06694},
  year={2023}
}

📄 許可證

由於 Sheared-LLaMA 是基於 Llama2 派生的模型，因此必須遵守 Llama2 的許可證。許可證類型為 Apache-2.0。