Umt5 Small

🚀 GoogleのUMT5

UMT5は、多言語の事前学習モデルです。更新されたmC4コーパスを用いて事前学習されており、107の言語をカバーしています。このモデルは下流タスクで使用する前に微調整が必要です。

🚀 クイックスタート

UMT5は、Google's UMT5で公開されています。このモデルは、更新されたmC4コーパスを用いて事前学習されており、107の言語をカバーしています。

✨ 主な機能

• 多言語対応：107の言語をカバーしています。
• 事前学習済み：更新されたmC4コーパスを用いて事前学習されています。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

ドキュメントに具体的なコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

事前学習データセット

UMT5は、更新されたmC4コーパスを用いて事前学習されています。このコーパスは107の言語をカバーしています。

その他のコミュニティチェックポイント

他のコミュニティチェックポイントはこちらで確認できます。

論文

UniMax, Fairer and More Effective Language Sampling for Large-Scale Multilingual Pretraining

著者

by Hyung Won Chung, Xavier Garcia, Adam Roberts, Yi Tay, Orhan Firat, Sharan Narang, Noah Constant

概要

事前学習された多言語大規模言語モデルは、通常、異なる言語間のバランスを取るために、ヒューリスティックな温度ベースのサンプリングを使用しています。しかし、以前の研究では、モデルの規模に関わらず、異なる事前学習言語分布の有効性を体系的に評価していません。この論文では、新しいサンプリング方法であるUniMaxを提案します。この方法は、各言語のコーパスの繰り返し回数を明示的に制限することで、主要言語のより均一なカバレッジを提供し、尾端言語の過学習を軽減します。モデルの規模を変化させながら、一連の多言語ベンチマークでさまざまなサンプリング戦略をテストする広範なアブレーション実験を行いました。その結果、UniMaxは標準的な温度ベースのサンプリングを上回り、そのメリットは規模が増大するにつれて持続することがわかりました。この研究の成果として、(i) 107の言語で29兆文字を含む改善されたmC4多言語コーパスと、(ii) UniMaxサンプリングを用いて学習された一連の事前学習済みumT5モデルのチェックポイントを公開しています。

🔧 技術詳細

ドキュメントに具体的な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で公開されています。

⚠️ 重要提示

UMT5はmC4のみを用いて事前学習されており、教師あり学習は行われていません。したがって、このモデルは下流タスクで使用する前に微調整が必要です。