T5 Base Dutch

🚀 t5-base-dutch

このモデルは、HuggingFaceによって主催され、GoogleがTPUの使用を支援したHugging Face community weekの期間中に、Yeb Havinga と Dat Nguyen によって、Pre-train T5 from scratch in Dutch プロジェクトの一環として作成されました。また、このモデルをベースに微調整された t5-base-dutch-demo モデルと、デモアプリケーション Netherformer 📰 も参照してください。

2022年1月5日: モデルが更新されました。評価精度が0.64から0.70に向上しました。

2022年1月11日: 評価精度0.78の yhavinga/t5-v1.1-base-dutch-cased も参照してください。

この t5 モデルは 222M のパラメータを持っています。これは、データセット mc4_nl_cleaned の設定 full を使用して、マスク付き言語モデリング（ノイズ除去トークンスパン破損）の目的で、シーケンス長 512、バッチサイズ 128、合計 527500 ステップ（35B トークン）、1 エポック、2日9時間 の期間で事前学習されました。事前学習の評価損失と精度はそれぞれ 1.38 と 0.70 です。要約と翻訳における事前学習モデルの比較については、以下の評価セクションを参照してください。

• 事前学習されたT5モデルは、下流タスクで使用する前に微調整する必要があります。そのため、右側の推論ウィジェットはオフになっています。
• オランダ語のCNN要約モデルのデモについては、Netherformer 📰 の例アプリケーションを参照してください！

T5アーキテクチャと設定に関する詳細情報については、元のT5論文とScale Efficiently論文を参照してください。ただし、このモデル（t5-base-dutch）はこれらのプロジェクトとは関係がなく、「公式」のチェックポイントではないことに注意してください。

• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer by Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu.
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers by Yi Tay, Mostafa Dehghani, Jinfeng Rao, William Fedus, Samira Abnar, Hyung Won Chung, Sharan Narang, Dani Yogatama, Ashish Vaswani, Donald Metzler.

✨ 主な機能

• オランダ語での事前学習が行われたT5モデルで、要約や翻訳などの下流タスクに利用可能。
• 特定の前処理を施したクリーンなオランダ語データセットで訓練されている。

📦 インストール

READMEにインストール手順が記載されていないため、このセクションは省略されました。

💻 使用例

READMEにコード例が記載されていないため、このセクションは省略されました。

📚 ドキュメント

Tokenizer

このモデルは、Nmt, NFKC, Replace multi-space to single-space 正規化器で構成された大文字小文字を区別するSentencePieceトークナイザーを使用しており、32003個のトークンを持っています。これは、Huggingface TransformersのFlax examplesのスクリプトを使用して、オランダ語のmc4で訓練されました。詳細については、./raw/main/tokenizer.json を参照してください。

Dataset(s)

以下に挙げるすべてのモデルは、cleaned Dutch mC4 で事前学習されています。これは、元のmC4から以下のような前処理を施したものです。

• オランダ語と英語の List of Dirty Naught Obscene and Otherwise Bad Words から選択された単語を含む文書は削除されました。
• 3語未満の文は削除されました。
• 1000文字以上の単語を含む文は削除されました。
• 5文未満の文書は削除されました。
• "javascript", "lorum ipsum", "terms of use", "privacy policy", "cookie policy", "uses cookies", "use of cookies", "use cookies", "elementen ontbreken", "deze printversie" を含む文書は削除されました。

オランダ語と英語のモデルは、オランダ語のmC4と英語のC4を50/50%の割合で混合したデータセットで事前学習されています。翻訳モデルは、CCMatrix で微調整されています。

Dutch T5 Models

オランダ語のT5モデルは3種類が訓練されています (ブログ)。t5-base-dutch は、元のT5設定を持つ唯一のモデルです。他のモデルタイプであるt5-v1.1とt5-effは、活性化関数として relu の代わりに gated-relu を使用しており、学習が発散しない限り（t5-v1.1-large-dutch-cased）、ドロップアウト率 0.0 で訓練されています。T5-effモデルは、レイヤー数が異なるモデルです。以下の表に、これらのモデルのいくつかの次元を示します。すべてのt5-effモデルが効率的であるわけではなく、最も良い例は非効率な t5-xl-4L-dutch-english-cased です。

Evaluation

上記のリストのほとんどのモデルは、要約と翻訳のために微調整されています。以下の図は評価スコアを示しており、x軸は翻訳のBleuスコア（高い方が良い）、y軸は要約のRouge1翻訳スコア（高い方が良い）を示しています。点のサイズはモデルのサイズに比例しています。推論速度が速いモデルは緑色で、遅いモデルは青色でプロットされています。

評価は、以下の設定で訓練された微調整モデルで実行されました。

🔧 技術詳細

READMEに技術的な詳細説明が十分に記載されていないため、このセクションは省略されました。

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。