Arabic T5 Small

🚀 阿拉伯語T5小模型

該模型是基於T5v1.1（小模型）架構，在阿拉伯語十億詞料庫以及mC4和Oscar數據集中的阿拉伯語子集的拼接數據上訓練得到的，能夠助力阿拉伯語相關的自然語言處理任務。

🚀 快速開始

本模型是在阿拉伯語十億詞料庫與mC4和Oscar數據集中的阿拉伯語子集拼接數據上訓練的T5v1.1（小模型）。由於時間限制，模型僅在整個數據集的約10%上進行了訓練，相當於22000步或約43億個詞元。

✨ 主要特性

• 訓練數據豐富：使用阿拉伯語十億詞料庫以及mC4和Oscar數據集中的阿拉伯語子集進行訓練。
• 保留阿拉伯語變音符號：與其他預訓練阿拉伯語語言模型不同，本模型保留了阿拉伯語變音符號並將其作為詞彙表的一部分。
• 靈活微調：預訓練時關閉了Dropout，微調時可重新開啟以適應不同任務。

📚 詳細文檔

訓練參數

預處理和分詞器

• 預處理儘量簡化，僅用固定詞元替換URL、電子郵件和社交媒體用戶提及。
• 與其他預訓練阿拉伯語語言模型不同，不剝離阿拉伯語變音符號，將其保留在詞彙表中。
• 分詞器在訓練集的5%上進行訓練，詞彙表大小為64000。
• 有關預處理的更多詳細信息，請查看分詞器代碼。

數據

• 模型在阿拉伯語十億詞料庫與mC4和Oscar數據集中的阿拉伯語子集的拼接數據上進行訓練。
• 隨機抽取數據的0.1%作為評估集，其餘用於訓練。

結果

微調注意事項

本模型在預訓練時關閉了Dropout，因此模型配置中的默認dropout_rate為0。要微調模型，應重新開啟Dropout，示例代碼如下：

💻 使用示例

基礎用法

model = T5ForConditionalGeneration.from_pretrained("flax-community/arabic-t5-small", dropout_rate=0.1)

高級用法

model = AutoModelForSeq2SeqLM.from_pretrained("flax-community/arabic-t5-small", dropout_rate=0.1)