Tinyllama 1.1B Python V0.1

🚀 TinyLlama-1.1B

TinyLlama项目旨在预训练一个在3万亿个标记上训练的11亿参数的Llama模型。通过适当的优化，使用16块A100 - 40G GPU，我们可以在“仅”90天内完成这一目标🚀🚀。训练已于2023年9月1日开始。该模型采用了与Llama 2完全相同的架构和分词器，这意味着TinyLlama可以在许多基于Llama构建的开源项目中即插即用。此外，TinyLlama仅具有11亿参数，这种轻量级的特性使其能够适用于对计算和内存要求较低的众多应用场景。

🚀 快速开始

项目链接：https://github.com/jzhang38/TinyLlama

✨ 主要特性

1. 预训练目标宏大：目标是在3万亿个标记上预训练一个11亿参数的Llama模型。
2. 训练效率高：通过优化，使用16块A100 - 40G GPU可在90天内完成训练。
3. 兼容性强：采用与Llama 2相同的架构和分词器，可在基于Llama的开源项目中直接使用。
4. 模型轻量：仅11亿参数，适用于对计算和内存要求较低的应用。
5. 多语言能力：虽然微调数据仅为Python，但模型在C、Java等其他语言上也保留了一定能力。
6. 可作为辅助模型：可作为草稿模型对CodeLlama系列等更大的模型进行推测解码。

📚 详细文档

本模型详情

此模型是基于5000亿标记的TinyLlama检查点，使用来自starcoderdata的另外70亿条Python数据进行微调（或称为继续预训练）得到的代码语言模型。

尽管微调数据仅为Python，但该模型在C、Java等许多其他语言上仍保留了一定能力。

在HumanEval基准测试中的准确率为14%。

它可以作为草稿模型对CodeLlama系列等更大的模型进行推测解码。

📄 许可证

本项目采用Apache - 2.0许可证。

📦 训练数据