Mt5 Base Arabic

🚀 mt5-base-arabic

這是一個基於 google/mt5-base 在 xlsum 數據集的阿拉伯語子集上微調得到的模型。該模型在評估集上取得了以下成績：

• 損失值：3.2742
• Rouge-1：22.86
• Rouge-2：10.31
• Rouge-l：20.85
• 生成長度：19.0
• Bertscore：71.52

🚀 快速開始

本模型是在特定數據集上微調得到的，可用於阿拉伯語的相關任務。

✨ 主要特性

• 基於 google/mt5-base 微調，適用於阿拉伯語。
• 在評估集上有明確的評估指標結果，如 Rouge-1、Rouge-2 等。

📚 詳細文檔

模型描述

該模型是 google/mt5-base 在 xlsum 數據集的阿拉伯語子集上微調的版本。

預期用途和限制

文檔暫未提供相關信息。

訓練和評估數據

文檔暫未提供相關信息。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：0.0005
• 訓練批次大小：4
• 評估批次大小：4
• 隨機種子：42
• 梯度累積步數：8
• 總訓練批次大小：32
• 優化器：Adam，其中 betas=(0.9, 0.999)，epsilon=1e-08
• 學習率調度器類型：線性
• 訓練輪數：5
• 標籤平滑因子：0.1

訓練結果

框架版本

• Transformers 4.18.0
• Pytorch 1.11.0+cu113
• Datasets 2.1.0
• Tokenizers 0.12.1

📄 許可證

本模型使用 Apache-2.0 許可證。