T5 Darija Summarization

🚀 MArSum: 摩洛哥文章摘要數據集

MArSum是一個包含摩洛哥阿拉伯語方言新聞文章及其標題的數據集，可用於自然語言處理相關研究，為處理摩洛哥阿拉伯語方言文本提供了豐富的數據資源。

🚀 快速開始

本數據集可直接從 這裡 下載，數據集按照90/10的比例劃分為訓練集和測試集。

📚 詳細文檔

🔍 描述

該數據集包含19,806篇用摩洛哥阿拉伯語方言撰寫的新聞文章及其標題。這些文章於2018年1月1日至2020年12月31日期間從 Goud.ma 網站爬取。

文章主要用摩洛哥阿拉伯語方言（Darija）撰寫，但部分文章包含現代標準阿拉伯語（MSA）段落。所有標題均用Darija撰寫。

以下表格總結了MArSum數據集的一些統計信息：

下圖描述了MArSum的創建過程：

如需瞭解此過程的更多詳細信息，可參考我們下面引用的論文。

📦 數據集

數據集採用90/10的分割策略劃分為訓練集和測試集。兩個子集均可直接 下載。

📖 引用

如果您決定使用該數據集，請引用以下論文：

Gaanoun, K., Naira, A. M., Allak, A., & Benelallam, I. (2022). Automatic Text Summarization for Moroccan Arabic Dialect
Using an Artificial Intelligence Approach. In International Conference on Business Intelligence (pp. 158-177). Springer, Cham.

📄 許可證

該數據集根據CC BY 4.0許可證分發。