T5 V1.1 Base Dutch Cnn Test

🚀 T5 v1.1基礎模型：用於荷蘭語CNN新聞摘要 🇳🇱

該模型是在 CNN Dailymail NL 數據集上對 t5-v1.1-base-dutch-cased 進行微調得到的。

想體驗荷蘭語CNN新聞摘要模型的演示，可以前往Hugging Face Spaces查看 Netherformer 📰 示例應用！

以下是該模型的Rouge得分。

✨ 主要特性

分詞器

• 使用SentencePiece分詞器，該分詞器是基於清理後的荷蘭語mC4數據集從頭開始為荷蘭語訓練的，訓練腳本來自Huggingface Transformers的 Flax示例。

數據集

以下所有模型均在 清理後的荷蘭語mC4 的 full 配置（390億個標記）上進行訓練，該數據集是原始mC4的清理版本，具體清理規則如下：

• 移除包含荷蘭語和英語 髒話列表 中詞彙的文檔。
• 移除單詞數少於3個的句子。
• 移除包含長度超過1000個字符單詞的句子。
• 移除句子數少於5個的文檔。
• 移除包含 "javascript"、"lorum ipsum"、"terms of use"、"privacy policy"、"cookie policy"、"uses cookies"、"use of cookies"、"use cookies"、"elementen ontbreken"、"deze printversie" 等內容的文檔。

模型

簡而言之，yhavinga/t5-v1.1-base-dutch-cased 是最佳模型。具體模型信息如下：

• yhavinga/t5-base-dutch 是對2021年夏季Flax/Jax社區週期間訓練的荷蘭語T5基礎v1.0模型的重新訓練，準確率從0.64提高到了0.70。
• 兩個T5 v1.1基礎模型分別是 t5-v1.1-base 的無大小寫和有大小寫版本，同樣是在荷蘭語上從頭開始預訓練的，分詞器也是從頭開始訓練的。T5 v1.1模型與T5模型略有不同，基礎模型的訓練丟棄率為0.0，微調時建議將其設置回0.1。
• 大尺寸有大小寫模型是 t5-v1.1-large 的預訓練荷蘭語版本。事實證明，訓練t5-v1.1-large很困難。如果沒有丟棄正則化，訓練在某個點會發散；使用丟棄正則化後，訓練情況有所改善，但比訓練t5模型慢得多。在某個階段，收斂速度過慢，不值得進一步訓練。最新的檢查點、訓練腳本和指標可供參考。對於實際微調，有大小寫的基礎模型可能是更好的選擇。

有大小寫的t5-v1.1荷蘭語模型在CNN Daily Mail數據集的摘要任務上進行了微調。

📚 詳細文檔

致謝

如果沒有Google通過 TPU Research Cloud 慷慨提供的計算資源，這個項目是不可能完成的。HuggingFace 🤗 生態系統在訓練的許多（如果不是全部）環節也起到了重要作用。以下倉庫在設置TPU-VM和訓練模型方面提供了幫助：

• Gsarti的在GCP上使用Flax預訓練和微調T5模型
• HuggingFace Flax MLM示例
• Flax/Jax社區周的t5-base-dutch

本項目由 Yeb Havinga 創建。

📄 許可證

本項目採用Apache-2.0許可證。