Retnet Mini Shakespeare

🚀 retnet-mini-shakespeare

該模型在“tinyshakespeare”文本文件上從頭開始訓練，用於展示基於保留網絡的訓練和循環推理。

🚀 快速開始

本模型是在“tinyshakespeare”文本文件上從頭開始訓練得到的，用於展示使用保留網絡進行訓練和循環推理。

✨ 主要特性

• 是一個與 jploski/falcon-mini-shakespeare 類似的微小模型，用於展示使用保留網絡（https://arxiv.org/pdf/2307.08621.pdf）進行訓練和循環推理。
• 代碼採用了 Sehyun Choi 實現的保留網絡（https://github.com/syncdoth/RetNet），並更改了配置參數使其成為一個非常小的模型。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

預期用途與限制

用於展示使用保留網絡進行訓練和（循環 O(1)）推理。

訓練和評估數據

https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt

訓練過程

注意：於 2023 年 11 月 10 日更新以適配當前版本的 syncdoth/RetNet。

僅使用單個 tinyshakespeare 文本文件作為訓練集和驗證集（拆分為段落）。詳情見： https://colab.research.google.com/drive/1wZnM7FCe4TsQpoamJ7NDAuQfA3DYiwHi?usp=sharing

訓練超參數

訓練期間使用了以下超參數：

• 學習率：0.0006
• 訓練批次大小：32
• 評估批次大小：32
• 隨機種子：42
• 梯度累積步數：8
• 總訓練批次大小：256
• 優化器：Adam，β=(0.9, 0.999)，ε=1e - 08
• 學習率調度器類型：餘弦
• 學習率調度器熱身步數：10
• 訓練輪數：40

訓練結果

框架版本

• Transformers 4.35.0
• Pytorch 2.1.0+cu118
• Datasets 2.14.6
• Tokenizers 0.14.1

🔧 技術細節

文檔未提供技術實現細節，故跳過此章節。

📄 許可證

• 許可證：Apache 2.0。