Llama 3 6B V0

🚀 Llama-3-6B模型

本项目推出了全球首个拥有60亿参数的Llama-3基础模型。该模型是一个未经训练的模型，它使用了一种名为降阶循环利用的技术，从Meta-Llama-3-8B模型创建而来。你可以在以下链接查看该模型的训练版本：Llama-3-6B-v0.1。

🚀 快速开始

本项目的核心是推出了全新的Llama-3-6B基础模型，为自然语言处理领域提供了新的选择。它基于先进的技术从Meta-Llama-3-8B模型衍生而来，具有独特的优势。

✨ 主要特性

• 全球首个60亿参数的Llama-3基础模型。
• 使用创新的降阶循环利用技术创建。
• 可查看训练版本以满足不同需求。

📚 详细文档

模型描述

• 开发者：Prince Canuma
• 赞助方：General
• 模型类型：Llama
• 许可证：Llama-3

模型来源

• 仓库地址：https://github.com/Blaizzy/Coding-LLMs-from-scratch/tree/main/Llama-3
• 视频链接：https://youtube.com/playlist?list=PLDn_JsyofyfTH5_5V1MNb8UYKxMl6IMNy&si=5Y4cm-6wrMOD1Abr

引用信息

BibTeX

@misc{prince2024downcycling,
      title={Efficient LLM Downcycling: Generating Diverse Model Sizes from Pretrained Giants},
      author={Prince Canuma},
      year={2024},
}

参考文献

@misc{komatsuzaki2023sparse,
      title={Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints}, 
      author={Aran Komatsuzaki and Joan Puigcerver and James Lee-Thorp and Carlos Riquelme Ruiz and Basil Mustafa and Joshua Ainslie and Yi Tay and Mostafa Dehghani and Neil Houlsby},
      year={2023},
      eprint={2212.05055},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

@misc{sanyal2024pretraining,
      title={Pre-training Small Base LMs with Fewer Tokens}, 
      author={Sunny Sanyal and Sujay Sanghavi and Alexandros G. Dimakis},
      year={2024},
      eprint={2404.08634},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本模型使用的许可证为Llama-3。

致谢

我衷心感谢社区提供的宝贵专业知识和坚定支持。此外，我要感谢来自General Catalyst (GC)的Viet为我提供了急需的计算资源。这是我迄今为止最具雄心的项目，没有出色的开源机器学习社区，这一切都不可能实现！开发者们，我期待看到并听到你们创建的创新微调模型和应用。用户们，我很高兴了解你们的使用体验和用例。感谢你们的关注和支持！