Gpt2 Finetuned Wikitext2

🚀 Rocketknight1/gpt2-finetuned-wikitext2

本模型是 gpt2 在未知数据集上的微调版本。它在评估集上取得了以下结果：

• 训练损失：7.3062
• 验证损失：6.7676
• 轮数：0

🚀 快速开始

暂未提供相关快速开始内容，可参考模型使用的相关库文档进行使用。

✨ 主要特性

此模型是在gpt2基础上微调而来，可能具备对特定未知数据集的适配能力，能在该数据集相关的任务上有较好表现。

📦 安装指南

暂未提供安装步骤，可根据模型使用的框架（如Transformers、TensorFlow等）进行对应安装。

📚 详细文档

模型描述

更多信息待补充。

预期用途与限制

更多信息待补充。

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练期间使用了以下超参数：

• 优化器：{'name': 'AdamWeightDecay', 'learning_rate': 2e-05, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False, 'weight_decay_rate': 0.01}
• 训练精度：float32

训练结果

框架版本

• Transformers 4.21.0.dev0
• TensorFlow 2.9.1
• Datasets 2.3.3.dev0
• Tokenizers 0.11.0

📄 许可证

本项目采用MIT许可证。