T5 Darija Summarization

🚀 モロッコ記事要約データセット (MArSum)

このデータセットは、モロッコのアラビア語方言で書かれた19,806件のニュース記事とそのタイトルを含んでいます。記事は2018年1月1日から2020年12月31日までの間にGoud.maウェブサイトからクロールされました。

🚀 クイックスタート

このデータセットを使用することで、モロッコのアラビア語方言の文章要約に関する研究や開発を行うことができます。

✨ 主な機能

• モロッコのアラビア語方言で書かれた大量のニュース記事を提供します。
• 記事のタイトルも含まれており、要約タスクに役立ちます。
• データセットは90/10の比率でトレーニングセットとテストセットに分割されています。

📚 ドキュメント

説明

このデータセットには、モロッコのアラビア語方言で書かれた19,806件のニュース記事とそのタイトルが含まれています。記事は2018年1月1日から2020年12月31日までの間にGoud.maウェブサイトからクロールされました。

記事は主にモロッコのアラビア語方言（ダリジャ）で書かれていますが、一部には現代標準アラビア語（MSA）の部分も含まれています。すべてのタイトルはダリジャで書かれています。

次の表は、MArSumデータセットのいくつかの統計情報をまとめたものです。

次の図は、MArSumの作成プロセスを説明しています。

このプロセスの詳細については、以下に引用する論文を参照してください。

データセット

データセットは90/10の分割戦略を使用してトレーニングセットとテストセットに分割されています。両方のサブセットはこちらから直接ダウンロードできます。

📄 ライセンス

このデータセットはCC BY 4.0ライセンスの下で配布されています。

📦 引用

データセットを使用する場合は、以下の論文を引用してください。

Gaanoun, K., Naira, A. M., Allak, A., & Benelallam, I. (2022). Automatic Text Summarization for Moroccan Arabic Dialect
Using an Artificial Intelligence Approach. In International Conference on Business Intelligence (pp. 158-177). Springer, Cham.