Rut5 Base

🚀 小型化多言語T5モデル

このモデルは、google/mt5-base の小型版で、ロシア語と一部の英語の埋め込みのみが残されています。このモデルは、特定の言語に対する適応性を高めるために作成され、パラメータ数とモデルサイズを大幅に削減しています。

✨ 主な機能

• 元のモデルは5億8200万個のパラメータを持ち、そのうち3億8400万個が入力と出力の埋め込みです。
• sentencepiece の語彙を25万から3万（上位1万の英語トークンと上位2万のロシア語トークン）に縮小することで、モデルのパラメータ数は2億4400万に減少し、モデルサイズは2.2GBから0.9GBに削減され、元のモデルの42%になりました。

📚 ドキュメント

このモデルの作成については、記事 How to adapt a multilingual T5 model for a single language とソースコードで詳しく説明されています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。