Mt5 Small Sum De En V2

🚀 mT5-small-sum-de-en-v2

このモデルは、英語とドイツ語のバイリンガル要約モデルです。多言語T5モデル google/mt5-small をベースに構築されています。

🚀 クイックスタート

このモデルは英語とドイツ語の要約タスクに使用できます。以下に、モデルのトレーニングや評価に関する詳細を示します。

✨ 主な機能

• 英語とドイツ語のバイリンガル要約が可能。
• 多言語T5モデル google/mt5-small をベースに構築。

🔧 技術詳細

トレーニング

トレーニングは以下のハイパーパラメータで実施されました。

• ベースモデル: google/mt5-small
• ソースプレフィックス: "summarize: "
• バッチサイズ: 3
• 最大ソース長: 800
• 最大ターゲット長: 96
• ウォームアップ率: 0.3
• トレーニングエポック数: 10
• 勾配累積ステップ数: 2
• 学習率: 5e-5

データセットと前処理

データセットは以下のように前処理されました。 要約文は google/mt5-small のトークナイザーでトークン化され、要約トークンが94以下のレコードのみが選択されました。

MLSUMデータセットには特殊な特性があります。テキスト内に要約文が1つ以上の文として完全に含まれることが多いため、これらはテキストから削除されました。理由は、最終的に要約として文を抽出するだけのモデルをトレーニングしたくないからです。

このモデルは以下のデータセットでトレーニングされました。

評価

MLSUMドイツ語テストセットでの評価（ビームなし）

CNN Daily英語テストセットでの評価（ビームなし）

Extreme Summarization (XSum)英語テストセットでの評価（ビームなし）

♣: これらの値は異常に高いようです。テストセットがトレーニングデータに含まれている可能性があります。

📄 ライセンス

Copyright (c) 2021 Philip May, T-Systems on site services GmbH

この作品は Attribution-NonCommercial-ShareAlike 3.0 Unported (CC BY-NC-SA 3.0) ライセンスの下でライセンスされています。