Mt5 Small

🚀 GoogleのmT5

mT5は、101の言語をカバーするmC4コーパスで事前学習されたモデルです。これにより、多言語に対応した自然言語処理タスクを効果的に行うことができます。

🚀 クイックスタート

モデルの概要

mT5は、多言語対応の事前学習済みモデルで、mC4コーパスを用いて学習されています。このコーパスは101の言語をカバーしており、以下の言語が含まれます。

重要な注意事項

⚠️ 重要提示

mT5は、教師あり学習を含まないmC4のみで事前学習されています。したがって、このモデルを下流のタスクで使用する前に、微調整する必要があります。

📚 ドキュメント

概要

最近の"Text-to-Text Transfer Transformer" (T5) は、統一されたテキスト対テキスト形式と規模を活用して、様々な英語の自然言語処理タスクで最先端の結果を達成しました。この論文では、101の言語をカバーする新しいCommon Crawlベースのデータセットで事前学習されたT5の多言語バリアントであるmT5を紹介します。mT5の設計と修正されたトレーニングについて説明し、多くの多言語ベンチマークでの最先端のパフォーマンスを実証します。この研究で使用されたすべてのコードとモデルのチェックポイントは公開されています。