Tinyllama V0

🚀 基于Llama架构重现TinyStories-1M项目

本项目是首次基于Llama架构重现roneneldan/TinyStories - 1M的版本。它旨在利用Llama架构实现TinyStories相关的训练和应用，为相关研究和开发提供了一个新的尝试。

🚀 快速开始

训练流程

完整的训练流程包含在train.ipynb笔记本中。要重现训练过程，只需将TinyStoriesV2 - GPT4 - train.txt和TinyStoriesV2 - GPT4 - valid.txt下载到与笔记本相同的文件夹中，然后运行各个单元格即可。需要注意的是，脚本不会使用验证内容，因此验证文件中可以放置任意内容。

备份脚本

Backup目录中有一个do_backup脚本，用于将权重从远程机器复制到本地。由于权重生成速度极快，当脚本复制第N + 1个权重时，可能会出现一些情况。

演示脚本

演示脚本为demo.py。

验证脚本

验证脚本为valid.py，使用方式如下：

python valid.py path/to/TinyStoriesV2-GPT4-valid.txt [可选的模型ID或路径]

训练完成后，发现无需将验证内容拆分成块。

✨ 主要特性

训练特性

• 这是一个非常早期的概念验证（PoC）版本。训练过程会截断长度超过上下文大小的故事，并且不会使用任何滑动窗口从故事的非起始位置开始训练。
• 在40GB的A100显卡上，训练大约需要9小时（每个epoch约3小时），大约使用30GB的显存。

分词器使用

使用open_llama_3b的分词器。不过，在本地使用时遇到了一些问题（https://github.com/openlm - research/open_llama/issues/69），但在预装了相关库的云机器上使用没有问题。

缓存机制

此版本使用了一种简单的缓存机制来打乱训练故事：它会缓存最近加载的N个块，因此当随机打乱请求一个故事时，可能会使用缓存或加载新的块。由于训练数据集较小，后续版本将去除该机制。

📄 许可证

本项目采用Apache - 2.0许可证。

💻 使用示例

基础用法

# 保持原始代码和注释不变
from transformers import AutoModelForCausalLM, AutoTokenizer