Mgpt 1.3B Ukranian

🚀 🇺🇦 ウクライナ語 mGPT 1.3B

ウクライナ語用の言語モデルです。名前からわかるように、このモデルは13億個のパラメータを持っています。

ウクライナ語はインド・ヨーロッパ語族に属しています。これは非常に美しい音色の言語で、約4000万人が話しています。以下はウクライナ語に関するいくつかの事実です。

1. ロシア語やベラルーシ語と並んで東スラブ語の一つです。
2. ウクライナの公用語であり、キリル文字のバージョンで表記されます。
3. ウクライナ語には豊かな文学の歴史があり、特に詩や音楽において活発な文化的存在を維持しています。

🔧 技術詳細

このモデルは、元々WikipediaとC4コーパスを使用して25の語族に属する61の言語で学習されたmGPT-XL (1.3B)ベースモデルから派生したモデルの一つです（以下のリストを参照）。

私たちは、主にマイナー言語とされる23の言語に関する追加データを見つけ、ベースモデルをさらに微調整することにしました。ウクライナ語 mGPT 1.3Bは、1台のA100でバッチサイズ4、コンテキストウィンドウ2048トークンでさらに10000ステップ学習されました。

このモデルの検証データに対する最終的なパープレキシティは7.1です。

学習損失とパープレキシティのグラフ:

📚 他のmGPT - 1.3Bモデル

• 🇦🇲 mGPT-1.3B アルメニア語
• 🇦🇿 mGPT-1.3B アゼルバイジャン語
• 🍯 mGPT-1.3B バシキール語
• 🇧🇾 mGPT-1.3B ベラルーシ語
• 🇧🇬 mGPT-1.3B ブルガリア語
• 🌞 mGPT-1.3B ブリヤート語
• 🌳 mGPT-1.3B チュヴァシ語
• 🇬🇪 mGPT-1.3B グルジア語
• 🌸 mGPT-1.3B カルムイク語
• 🇰🇿 mGPT-1.3B カザフ語
• 🇰🇬 mGPT-1.3B キルギス語
• 🐻 mGPT-1.3B マリ語
• 🇲🇳 mGPT-1.3B モンゴル語
• 🐆 mGPT-1.3B オセット語
• 🇮🇷 mGPT-1.3B ペルシャ語
• 🇷🇴 mGPT-1.3B ルーマニア語
• 🇹🇯 mGPT-1.3B タジク語
• ☕ mGPT-1.3B タタール語
• 🇹🇲 mGPT-1.3B トルクメン語
• 🐎 mGPT-1.3B トゥバ語
• 🇺🇿 mGPT-1.3B ウズベク語
• 💎 mGPT-1.3B ヤクート語

💬 フィードバック

バグを見つけた場合、またはあなたの言語でモデルを学習させるための追加データがある場合は、必ずフィードバックをください。

このモデルは時間とともに改善されていきます。ぜひ注目してください！

📄 ライセンス

このモデルはMITライセンスの下で提供されています。