Byt5 Small English

🚀 hmByT5 - 予備言語モデル

予備的な歴史的多言語および単言語のByT5モデルです。現在サポートされている言語は以下の通りです。

• 英語（大英図書館コーパス - 書籍）

詳細については、私たちのGitHubリポジトリを参照してください。

🚀 クイックスタート

このhmByT5は、予備的な歴史的多言語および単言語のByT5モデルです。特定の言語のコーパスを用いて構築され、下流タスクでの評価も行われています。

✨ 主な機能

• 現在英語（大英図書館コーパス - 書籍）をサポートしています。
• Hugging Face Transformersの公式JAX/FLAXサンプルを使用して、単一のv3 - 8 TPUでByT5モデルを事前学習します。
• 下流タスク（NER）での評価を行っています。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

READMEに具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

事前学習

私たちは、Hugging Face Transformersの公式JAX/FLAXサンプルを使用して、単一のv3 - 8 TPUでByT5モデルを事前学習しています。学習に関する詳細はこちらで確認できます。

下流タスク（NER）での評価

私たちは、hmByT5モデルを下流タスクで評価しました。

謝辞

GoogleのTPU Research Cloud（TRC）からのCloud TPUを使用した研究を行っています。TPUへのアクセスを提供してくれたGoogleに心から感謝します❤️

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。