Indot5 Base

🚀 インドネシア語T5ベースモデル

T5（Text-to-Text Transfer Transformer）は、追加フィルタリングを施したインドネシア語のmC4データセットで事前学習されたモデルです。このモデルは事前学習のみ行われており、特定のタスクに使用するにはファインチューニングが必要です。

🚀 クイックスタート

このインドネシア語T5ベースモデルは、インドネシア語の自然言語処理タスクに活用できますが、事前学習済みの状態では特定タスクに最適化されていないため、ファインチューニングが必要です。

✨ 主な機能

• インドネシア語のmC4データセットで事前学習されている。
• 特定のタスクに合わせてファインチューニングが可能。

📚 ドキュメント

事前学習の詳細

google/t5-v1_1-baseに倣って100万ステップの学習を行いました。

モデルの性能

性能に関する詳細は今後公開予定です。

制限事項とバイアス

このモデルは、大規模コーパスを使用する言語モデルに関連して、学習データの内容のバイアスにより、偏った（非倫理的、有害、偏見のある）出力結果の問題がある可能性があります。この問題が発生する可能性を想定し、損害を引き起こさないアプリケーションにのみ慎重に使用してください。

謝辞

Tensorflow Research CloudがTPU v3 - 8sを提供してくれたことに感謝します。