Retnet Mini Shakespeare

🚀 retnet-mini-shakespeare

该模型在“tinyshakespeare”文本文件上从头开始训练，用于展示基于保留网络的训练和循环推理。

🚀 快速开始

本模型是在“tinyshakespeare”文本文件上从头开始训练得到的，用于展示使用保留网络进行训练和循环推理。

✨ 主要特性

• 是一个与 jploski/falcon-mini-shakespeare 类似的微小模型，用于展示使用保留网络（https://arxiv.org/pdf/2307.08621.pdf）进行训练和循环推理。
• 代码采用了 Sehyun Choi 实现的保留网络（https://github.com/syncdoth/RetNet），并更改了配置参数使其成为一个非常小的模型。

📦 安装指南

文档未提供安装步骤，故跳过此章节。

💻 使用示例

文档未提供代码示例，故跳过此章节。

📚 详细文档

预期用途与限制

用于展示使用保留网络进行训练和（循环 O(1)）推理。

训练和评估数据

https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt

训练过程

注意：于 2023 年 11 月 10 日更新以适配当前版本的 syncdoth/RetNet。

仅使用单个 tinyshakespeare 文本文件作为训练集和验证集（拆分为段落）。详情见： https://colab.research.google.com/drive/1wZnM7FCe4TsQpoamJ7NDAuQfA3DYiwHi?usp=sharing

训练超参数

训练期间使用了以下超参数：

• 学习率：0.0006
• 训练批次大小：32
• 评估批次大小：32
• 随机种子：42
• 梯度累积步数：8
• 总训练批次大小：256
• 优化器：Adam，β=(0.9, 0.999)，ε=1e - 08
• 学习率调度器类型：余弦
• 学习率调度器热身步数：10
• 训练轮数：40

训练结果

框架版本

• Transformers 4.35.0
• Pytorch 2.1.0+cu118
• Datasets 2.14.6
• Tokenizers 0.14.1

🔧 技术细节

文档未提供技术实现细节，故跳过此章节。

📄 许可证

• 许可证：Apache 2.0。