Arxiv27k T5 Abst Title Gen

🚀 arxiv27k-t5-abst-title-gen/

本模型是在arxiv-abstract-title数据集上对mt5-small进行微调后的版本。它能够根据给定的摘要生成期刊标题，在评估集上取得了良好的效果。

🚀 快速开始

本部分暂未提供相关内容，若有需要可进一步补充。

✨ 主要特性

• 基于mt5-small模型在arxiv-abstract-title数据集上进行微调。
• 可根据给定的摘要生成期刊标题。
• 在评估集上有较好的表现，如Rouge1达到32.8、Rouge2达到21.9、Rougel达到34.8。

📚 详细文档

模型描述

该模型使用colab-pro笔记本进行了4小时的训练。

预期用途与限制

可用于根据给定的摘要生成期刊标题。

训练参数

model_args = T5Args()
model_args.max_seq_length = 256
model_args.train_batch_size = 8
model_args.eval_batch_size = 8
model_args.num_train_epochs = 6
model_args.evaluate_during_training = False
model_args.use_multiprocessing = False
model_args.fp16 = False
model_args.save_steps = 40000
model_args.save_eval_checkpoints = False
model_args.save_model_every_epoch = True
model_args.output_dir = OUTPUT_DIR
model_args.no_cache = True
model_args.reprocess_input_data = True
model_args.overwrite_output_dir = True
model_args.num_return_sequences = 1

框架版本

• Transformers 4.12.5
• Pytorch 1.10.0+cu111
• Datasets 1.15.1
• Tokenizers 0.10.3

联系信息

• 邮箱：detasar@gmail.com
• 联系人：Davut Emre Taşar

📄 许可证

本项目采用Apache-2.0许可证。

💡 使用建议

若要使用该模型进行期刊标题生成，可参考上述训练参数进行配置。同时，注意框架版本的兼容性。