Byt5 Small Historic English Span20

🚀 hmByT5 - 予備言語モデル

予備的な歴史的多言語および単言語のByT5モデルです。現在は以下の言語が対象となっています：

• 英語 (大英図書館コーパス - 書籍)

詳細については私たちのGitHubリポジトリを参照してください。

🚀 クイックスタート

このREADMEでは、hmByT5モデルの概要、事前学習の詳細、平均ノイズスパン長の設定、そして謝辞について説明しています。

✨ 主な機能

• 予備的な歴史的多言語および単言語のByT5モデルを提供します。
• 現在は英語（大英図書館コーパス - 書籍）に対応しています。

📚 ドキュメント

事前学習

私たちは、Hugging Face Transformersの公式JAX/FLAXサンプルを使用して、単一のv3 - 8 TPU上でByT5モデルを事前学習させています。学習に関する詳細はこちらで確認できます。

このモデルは、mean_noise_span_length = 20で1エポック学習させたものです。

平均ノイズスパン長

以前に事前学習させたhmByT5モデルは、T5のデフォルト値であるため、平均ノイズスパン長が3で「誤って」学習されていました。しかし、ByT5の論文では、長さ3では事前学習タスクが簡単になりすぎると述べられており、20を推奨しています。そこで、私たちはこのモデルをmean_noise_span_length = 20で事前学習させ、英語のAjMCデータセットで微調整しました：

比較のため、長さ3を使用したモデルは85.65 ± 1.21を達成しました。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

謝辞

この研究は、GoogleのTPU Research Cloud (TRC) からのCloud TPUの提供を受けて行われました。TPUへのアクセスを提供してくれたGoogleに深く感謝いたします❤️。