Timesformer Bert Video Captioning

🚀 timesformer-bert-video-captioning

這是一個在None數據集上微調的模型，可用於視頻字幕生成。該模型在評估集上取得了一系列不錯的結果，如Rouge1達到30.0468，Bleu達到4.8298等。

📚 詳細文檔

評估指標

該模型使用了以下評估指標：

• Rouge
• Bleu

模型評估結果

此模型在評估集上取得了以下結果：

• 損失值 (Loss)：1.2821
• Rouge1：30.0468
• Rouge2：8.4998
• Rougel：29.0632
• Rougelsum：29.0231
• Bleu：4.8298
• 生成長度 (Gen Len)：9.5332

模型信息

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率 (learning_rate)：5e - 05
• 訓練批次大小 (train_batch_size)：8
• 評估批次大小 (eval_batch_size)：8
• 隨機種子 (seed)：42
• 優化器 (optimizer)：Adam，其中betas = (0.9, 0.999)，epsilon = 1e - 08
• 學習率調度器類型 (lr_scheduler_type)：線性
• 訓練輪數 (num_epochs)：2

訓練結果

框架版本

• Transformers：4.30.2
• Pytorch：2.0.1 + cu118
• Datasets：2.13.1
• Tokenizers：0.13.3