Timesformer Bert Video Captioning

🚀 timesformer-bert-video-captioning

这是一个在None数据集上微调的模型，可用于视频字幕生成。该模型在评估集上取得了一系列不错的结果，如Rouge1达到30.0468，Bleu达到4.8298等。

📚 详细文档

评估指标

该模型使用了以下评估指标：

• Rouge
• Bleu

模型评估结果

此模型在评估集上取得了以下结果：

• 损失值 (Loss)：1.2821
• Rouge1：30.0468
• Rouge2：8.4998
• Rougel：29.0632
• Rougelsum：29.0231
• Bleu：4.8298
• 生成长度 (Gen Len)：9.5332

模型信息

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

• 学习率 (learning_rate)：5e - 05
• 训练批次大小 (train_batch_size)：8
• 评估批次大小 (eval_batch_size)：8
• 随机种子 (seed)：42
• 优化器 (optimizer)：Adam，其中betas = (0.9, 0.999)，epsilon = 1e - 08
• 学习率调度器类型 (lr_scheduler_type)：线性
• 训练轮数 (num_epochs)：2

训练结果

框架版本

• Transformers：4.30.2
• Pytorch：2.0.1 + cu118
• Datasets：2.13.1
• Tokenizers：0.13.3