t5-v1.1-base-dutch-cnn-testオープンソースのオランダ語ニュース要約モデル、CNNポストの内容を正確に抽出

ホーム

T5 V1.1 Base Dutch Cnn Test

yhavingaによって開発

T5アーキテクチャに基づくオランダ語ニュース要約モデル、CNNデイリーメールオランダ語版向けにファインチューニング

テキスト生成その他オープンソースライセンス:Apache-2.0 #オランダ語ニュース要約 #T5ファインチューニングモデル #ROUGE最適化

ダウンロード数 176

リリース時間 : 3/2/2022

モデル概要

このモデルはオランダ語T5ベースモデルをファインチューニングしたシーケンス・ツー・シーケンスモデルで、オランダ語ニュース記事の要約生成に特化しています。

モデル特徴

オランダ語専用

オランダ語mC4クリーンデータセットでトレーニングされ、オランダ語テキスト処理に特化

高品質要約

オランダ語CNNデイリーメールデータセットでファインチューニングされ、ROUGE-L 25.9の要約品質を生成

最適化トークナイザー

オランダ語向けにトレーニングされたSentencePieceトークナイザーを使用し、処理効果が向上

データクリーニング

トレーニングデータは厳格にフィルタリングされ、低品質コンテンツや異常テキストが除去されています

モデル能力

オランダ語テキスト理解

ニュース要約生成

長文圧縮

使用事例

ニュースメディア

ニュース自動要約

オランダ語ニュース記事の自動簡潔要約生成

平均91語程度の要約を生成、ROUGE-Lスコア25.9

コンテンツ分析

キー情報抽出

長文オランダ語ドキュメントから核心情報を抽出

🚀 T5 v1.1 Base をオランダ語のCNNニュース要約用にファインチューニング 🇳🇱

このモデルは、t5-v1.1-base-dutch-cased を CNN Dailymail NL でファインチューニングしたものです。

オランダ語のCNN要約モデルのデモを見るには、Netherformer 📰 のサンプルアプリケーションがあるHugging Face Spacesにアクセスしてください！

このモデルのRougeスコアは以下の通りです。

🚀 クイックスタート

このモデルは、オランダ語のCNNニュース要約に特化したものです。モデルの詳細や使用方法については以下のセクションを参照してください。

✨ 主な機能

オランダ語のCNNニュースを要約することができます。
事前学習済みのT5 v1.1 Baseモデルをファインチューニングしています。
高いRougeスコアを達成しています。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されました。

💻 使用例

READMEに具体的なコード例が記載されていないため、このセクションは省略されました。

📚 ドキュメント

トークナイザー

SentencePieceトークナイザーは、Huggingface Transformersの Flax examples のスクリプトを使用して、オランダ語のmC4 nl cleanedデータセットからゼロから学習されました。

データセット

以下に挙げるすべてのモデルは、cleaned Dutch mC4 の full コンフィギュレーション（39Bトークン）で学習されています。これは元のmC4から以下のようなデータを除外したものです。

オランダ語と英語の List of Dirty Naught Obscene and Otherwise Bad Words から選択された単語を含む文書は削除されました。
3語未満の文は削除されました。
1000文字以上の単語を含む文は削除されました。
5文未満の文書は削除されました。
"javascript", "lorum ipsum", "terms of use", "privacy policy", "cookie policy", "uses cookies", "use of cookies", "use cookies", "elementen ontbreken", "deze printversie" を含む文書は削除されました。

モデル

TL;DR: yhavinga/t5-v1.1-base-dutch-cased が最良のモデルです。

yhavinga/t5-base-dutch は、2021年夏のFlax/Jaxコミュニティウィーク中に学習されたオランダ語のT5ベースv1.0モデルを再学習したものです。精度は0.64から0.70に向上しています。
2つのT5 v1.1ベースモデルは、t5-v1.1-base の大文字小文字を区別するバージョンと区別しないバージョンで、再びオランダ語でゼロから事前学習されており、トークナイザーもゼロから学習されています。t5 v1.1モデルはt5モデルとわずかに異なり、ベースモデルはドロップアウト率0.0で学習されています。ファインチューニングでは、これを0.1に戻すことを意図しています。
大規模な大文字小文字を区別するモデルは、t5-v1.1-large の事前学習済みオランダ語バージョンです。t5-v1.1-largeの学習は困難でした。ドロップアウト正則化を使用しないと、学習はある時点で発散します。ドロップアウトを使用すると学習はうまくいきましたが、t5モデルの学習よりもはるかに遅くなります。ある時点で収束が遅くなりすぎて、さらなる学習を続ける価値がなくなりました。最新のチェックポイント、学習スクリプト、メトリクスは参考用に利用可能です。実際のファインチューニングには、大文字小文字を区別するベースモデルがおそらく良い選択です。

モデルリンク	モデル名	学習シーケンス長	精度	損失	バッチサイズ	エポック数	ステップ数	ドロップアウト率	オプティマイザー	学習率	学習時間
yhavinga/t5-base-dutch	T5	512	0.70	1.38	128	1	528481	0.1	adafactor	5e-3	2日9時間
yhavinga/t5-v1.1-base-dutch-uncased	t5-v1.1	1024	0.73	1.20	64	2	1014525	0.0	adafactor	5e-3	5日5時間
yhavinga/t5-v1.1-base-dutch-cased	t5-v1.1	1024	0.78	0.96	64	2	1210000	0.0	adafactor	5e-3	6日6時間
yhavinga/t5-v1.1-large-dutch-cased	t5-v1.1	512	0.76	1.07	64	1	1120000	0.1	adafactor	5e-3	86日13時間

大文字小文字を区別するt5-v1.1オランダ語モデルは、CNN Daily Mailデータセットの要約にファインチューニングされています。

モデルリンク	モデル名	入力長	ターゲット長	Rouge1	Rouge2	RougeL	RougeLsum	テスト生成長	エポック数	バッチサイズ	ステップ数	学習時間
yhavinga/t5-v1.1-base-dutch-cnn-test	t5-v1.1	1024	96	34.8	13.6	25.2	32.1	79	6	64	26916	2時間40分
yhavinga/t5-v1.1-large-dutch-cnn-test	t5-v1.1	1024	96	34.4	13.6	25.3	31.7	81	5	16	89720	11時間

🔧 技術詳細

READMEに具体的な技術詳細が記載されていないため、このセクションは省略されました。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。

謝辞

このプロジェクトは、Googleが TPU Research Cloud を通じて提供してくれた計算資源がなければ実現できませんでした。HuggingFace 🤗 エコシステムも、学習の多くの部分（すべてではないにしても）において不可欠でした。以下のリポジトリは、TPU-VMのセットアップやモデルの学習に役立ちました。

作成者: Yeb Havinga