Mt5 Xxl

🚀 GoogleのmT5

mT5は、101の言語をカバーするmC4コーパスで事前学習されたモデルです。このモデルは、多言語の自然言語処理タスクにおいて高い性能を発揮します。

🚀 クイックスタート

mT5は、Google's mT5で公開されています。このモデルは、以下の101の言語をサポートしています。

アフリカーンス語、アルバニア語、アムハラ語、アラビア語、アルメニア語、アゼルバイジャン語、バスク語、ベラルーシ語、ベンガル語、ブルガリア語、ビルマ語、カタルーニャ語、セブアノ語、チチェワ語、中国語、コルシカ語、チェコ語、デンマーク語、オランダ語、英語、エスペラント語、エストニア語、フィリピン語、フィンランド語、フランス語、ガリシア語、グルジア語、ドイツ語、ギリシャ語、グジャラート語、ハイチ語、ハウサ語、ハワイ語、ヘブライ語、ヒンディー語、ホモン語、ハンガリー語、アイスランド語、イボ語、インドネシア語、アイルランド語、イタリア語、日本語、ジャワ語、カンナダ語、カザフ語、クメール語、韓国語、クルド語、キルギス語、ラオス語、ラテン語、ラトビア語、リトアニア語、ルクセンブルク語、マケドニア語、マダガスカル語、マレー語、マラヤーラム語、マルタ語、マオリ語、マラーティー語、モンゴル語、ネパール語、ノルウェー語、パシュトー語、ペルシャ語、ポーランド語、ポルトガル語、パンジャブ語、ルーマニア語、ロシア語、サモア語、スコットランド・ゲール語、セルビア語、ショナ語、シンド語、シンハラ語、スロバキア語、スロベニア語、ソマリ語、ソト語、スペイン語、スンダ語、スワヒリ語、スウェーデン語、タジク語、タミル語、テルグ語、タイ語、トルコ語、ウクライナ語、ウルドゥー語、ウズベク語、ベトナム語、ウェールズ語、西フリジア語、コサ語、イディッシュ語、ヨルバ語、ズールー語

⚠️ 重要提示

mT5は、教師なし学習のみで事前学習されています。そのため、このモデルは下流のタスクに使用する前にファインチューニングする必要があります。

📚 ドキュメント

事前学習データセット

mT5は、mC4コーパスで事前学習されています。

その他のコミュニティチェックポイント

他のコミュニティチェックポイントは、こちらで確認できます。

論文

mT5: A massively multilingual pre-trained text-to-text transformer

著者

Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel

概要

最近の「Text-to-Text Transfer Transformer」（T5）は、統一されたテキスト-to-テキスト形式と規模を活用して、様々な英語の自然言語処理タスクで最先端の結果を達成しました。この論文では、101の言語をカバーする新しいCommon Crawlベースのデータセットで事前学習されたT5の多言語バリアントであるmT5を紹介します。mT5の設計と修正されたトレーニングについて説明し、多くの多言語ベンチマークでの最先端の性能を実証します。この研究で使用されたすべてのコードとモデルチェックポイントは公開されています。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。