Arxiv27k T5 Abst Title Gen

🚀 arxiv27k-t5-abst-title-gen/

本模型是在arxiv-abstract-title數據集上對mt5-small進行微調後的版本。它能夠根據給定的摘要生成期刊標題，在評估集上取得了良好的效果。

🚀 快速開始

本部分暫未提供相關內容，若有需要可進一步補充。

✨ 主要特性

• 基於mt5-small模型在arxiv-abstract-title數據集上進行微調。
• 可根據給定的摘要生成期刊標題。
• 在評估集上有較好的表現，如Rouge1達到32.8、Rouge2達到21.9、Rougel達到34.8。

📚 詳細文檔

模型描述

該模型使用colab-pro筆記本進行了4小時的訓練。

預期用途與限制

可用於根據給定的摘要生成期刊標題。

訓練參數

model_args = T5Args()
model_args.max_seq_length = 256
model_args.train_batch_size = 8
model_args.eval_batch_size = 8
model_args.num_train_epochs = 6
model_args.evaluate_during_training = False
model_args.use_multiprocessing = False
model_args.fp16 = False
model_args.save_steps = 40000
model_args.save_eval_checkpoints = False
model_args.save_model_every_epoch = True
model_args.output_dir = OUTPUT_DIR
model_args.no_cache = True
model_args.reprocess_input_data = True
model_args.overwrite_output_dir = True
model_args.num_return_sequences = 1

框架版本

• Transformers 4.12.5
• Pytorch 1.10.0+cu111
• Datasets 1.15.1
• Tokenizers 0.10.3

聯繫信息

• 郵箱：detasar@gmail.com
• 聯繫人：Davut Emre Taşar

📄 許可證

本項目採用Apache-2.0許可證。

💡 使用建議

若要使用該模型進行期刊標題生成，可參考上述訓練參數進行配置。同時，注意框架版本的兼容性。