T5 Base Dutch Demo

🚀 t5-base-dutch-demo 📰

このモデルは、Hugging Faceコミュニティウィーク の際に、Yeb Havinga と Dat Nguyen によって作成されました。このモデルは t5-base-dutch をベースに、ニュース記事の要約を作成するように微調整されています。

モデルのデモを見るには、Netherformer 📰 のサンプルアプリケーションのHugging Face Spacesにアクセスしてください！

📚 ドキュメント

📦 データセット

t5-base-dutch-demo は、3つの混合ニュースソースで微調整されています。

1. CNN DailyMail：MarianMTでオランダ語に翻訳。
2. XSUM：MarianMtでオランダ語に翻訳。
3. nu.nlウェブサイトから抽出されたニュース記事の要約。

このデータセットの総学習例数は1366592です。

🔧 学習

学習は、t5-base-dutch を以下のパラメータで微調整して行われました。

• 一定の学習率：0.0005
• バッチサイズ：8
• エポック数：1（170842ステップ）

🔍 評価

要約モデルの性能は、Huggingface DatasetsライブラリのRougeメトリックで測定されます。

    "rouge{n}"（例：`"rouge1"`、`"rouge2"`）：{n}はn-gramベースのスコアリング。
    "rougeL"：最長共通部分列ベースのスコアリング。

• Rouge1: 23.8
• Rouge2: 6.9
• RougeL: 19.7

このモデルをCNN DMとXSUMのデータセット（オランダ語に翻訳）で個別に評価設定して学習させると、これらのスコアは向上すると予想されます。