Mgpt 1.3B Yakut

🚀 💎 ヤクート mGPT 1.3B

ヤクート語向けの言語モデルです。名前から推測できるように、このモデルは13億個のパラメータを持っています。

ヤクート語はチュルク語族に属します。これは非常に深い言語で、約50万人が話しています。以下はその言語に関するいくつかの事実です。

1. サハ語としても知られています。
2. ロシアのサハ共和国で話されています。
3. チュルク語族であるにもかかわらず、通古斯語族の言語の影響を受けています。

🚀 クイックスタート

このモデルは、ヤクート語の言語モデルとして使用できます。詳細な使い方は、技術的な詳細を参照してください。

✨ 主な機能

• ヤクート語に特化した言語モデルです。
• 13億個のパラメータを持ち、高度な言語処理能力を備えています。

🔧 技術詳細

このモデルは、ベースとなる mGPT-XL (1.3B) モデルから派生したモデルの1つです（下記のリストを参照）。元のモデルは、WikipediaとC4コーパスを使用して、25の言語族に属する61の言語で学習されました。

私たちは、23の言語に関する追加データを見つけました。これらの多くはマイナーな言語と見なされています。そして、ベースモデルをさらに微調整することにしました。ヤクート mGPT 1.3B は、バッチサイズ4、コンテキストウィンドウ 2048 トークンで、1台のA100でさらに2000ステップ学習されました。

このモデルの検証データに対する最終的なパープレキシティは 10.65 です。

学習損失とパープレキシティのグラフ:

📚 ドキュメント

他の mGPT-1.3B モデル

• 🇦🇲 mGPT-1.3B アルメニア語
• 🇦🇿 mGPT-1.3B アゼルバイジャン語
• 🍯 mGPT-1.3B バシキール語
• 🇧🇾 mGPT-1.3B ベラルーシ語
• 🇧🇬 mGPT-1.3B ブルガリア語
• 🌞 mGPT-1.3B ブリヤート語
• 🌳 mGPT-1.3B チュヴァシ語
• 🇬🇪 mGPT-1.3B グルジア語
• 🌸 mGPT-1.3B カルムイク語
• 🇰🇿 mGPT-1.3B カザフ語
• 🇰🇬 mGPT-1.3B キルギス語
• 🐻 mGPT-1.3B マリ語
• 🇲🇳 mGPT-1.3B モンゴル語
• 🐆 mGPT-1.3B オセット語
• 🇮🇷 mGPT-1.3B ペルシャ語
• 🇷🇴 mGPT-1.3B ルーマニア語
• 🇹🇯 mGPT-1.3B タジク語
• ☕ mGPT-1.3B タタール語
• 🇹🇲 mGPT-1.3B トルクメン語
• 🐎 mGPT-1.3B トゥヴァ語
• 🇺🇦 mGPT-1.3B ウクライナ語
• 🇺🇿 mGPT-1.3B ウズベク語

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。

💡 フィードバック

もしバグを見つけた場合、またはあなたの言語でモデルを学習させるための追加データがある場合は、ぜひフィードバックをください。

このモデルは時間とともに改善されていきます。今後のアップデートにご期待ください！