Mt5 Small Sum De En V1

🚀 mT5-small-sum-de-en-v1

このモデルは、英語とドイツ語のバイリンガル要約モデルです。多言語T5モデルのgoogle/mt5-smallをベースに構築されています。

このモデルは、Deutsche Telekom AGのOne Conversationチームによって提供されています。

🚀 クイックスタート

このモデルは、英語とドイツ語の文章を要約するために使用できます。以下のセクションでは、そのトレーニング方法や評価結果について説明します。

✨ 主な機能

• 英語とドイツ語のバイリンガル要約が可能です。
• 多言語T5モデルをベースにしているため、幅広い言語に対応しています。

🔧 技術詳細

トレーニング

トレーニングは以下のハイパーパラメータで行われました。

• ベースモデル: google/mt5-small
• ソースプレフィックス: "summarize: "
• バッチサイズ: 3
• 最大ソース長: 800
• 最大ターゲット長: 96
• ウォームアップ比率: 0.3
• トレーニングエポック数: 10
• 勾配累積ステップ: 2
• 学習率: 5e-5

データセットと前処理

データセットは以下のように前処理されました。

要約はgoogle/mt5-smallのトークナイザーでトークナイズされ、要約トークンが94以下のレコードのみが選択されました。

MLSUMデータセットには特殊な特性があります。テキスト内に要約が1つまたは複数の文として完全に含まれることが多いため、これらはテキストから削除されました。その理由は、最終的に要約として文を抽出するだけのモデルをトレーニングしたくないからです。

このモデルは以下のデータセットでトレーニングされています。

評価

MLSUMドイツ語テストセットでの評価（ビームなし）

CNN Daily英語テストセットでの評価（ビームなし）

Extreme Summarization (XSum)英語テストセットでの評価（ビームなし）

♣: これらの値は異常に高いように見えます。テストセットがトレーニングデータに含まれている可能性があります。

📄 ライセンス

Copyright (c) 2021 Philip May, Deutsche Telekom AG

この作品はAttribution-NonCommercial-ShareAlike 3.0 Unported (CC BY-NC-SA 3.0)ライセンスの下で提供されています。