Mgpt 1.3B Kazakh

🚀 🇰🇿 カザフ mGPT 1.3B

カザフ語用の言語モデルです。名前から推測できるように、このモデルは13億個のパラメータを持っています。

カザフ語はチュルク語族に属しています。約1800万人が話す非常に活発な言語です。以下はその言語に関するいくつかの事実です。

1. カザフスタンで主要な言語として話されています。
2. カザフ語は独自のキリル文字を持っていますが、現在はラテン文字への移行中です。
3. 叙事詩を含む豊かな口承文学の伝統があります。

🔧 技術詳細

このモデルは、元々WikipediaとC4コーパスを使用して25の語族の61の言語で学習された基本のmGPT-XL (1.3B)モデルから派生したモデルの1つです（下のリストを参照）。

私たちは、主にマイナーな言語と見なされる23の言語に追加データを見つけ、基本モデルをさらに微調整することにしました。カザフ mGPT 1.3Bは、1台のA100でバッチサイズ4、コンテキストウィンドウ2048トークンでさらに150000ステップ学習されました。

このモデルの検証データでの最終的なパープレキシティは3.38です。

学習損失とパープレキシティのグラフ:

他のmGPT-1.3Bモデル

• 🇦🇲 mGPT-1.3B アルメニア語
• 🇦🇿 mGPT-1.3B アゼルバイジャン語
• 🍯 mGPT-1.3B バシキール語
• 🇧🇾 mGPT-1.3B ベラルーシ語
• 🇧🇬 mGPT-1.3B ブルガリア語
• 🌞 mGPT-1.3B ブリヤート語
• 🌳 mGPT-1.3B チュヴァシ語
• 🇬🇪 mGPT-1.3B グルジア語
• 🌸 mGPT-1.3B カルムイク語
• 🇰🇬 mGPT-1.3B キルギス語
• 🐻 mGPT-1.3B マリ語
• 🇲🇳 mGPT-1.3B モンゴル語
• 🐆 mGPT-1.3B オセット語
• 🇮🇷 mGPT-1.3B ペルシャ語
• 🇷🇴 mGPT-1.3B ルーマニア語
• 🇹🇯 mGPT-1.3B タジク語
• ☕ mGPT-1.3B タタール語
• 🇹🇲 mGPT-1.3B トルクメン語
• 🐎 mGPT-1.3B トゥバ語
• 🇺🇦 mGPT-1.3B ウクライナ語
• 🇺🇿 mGPT-1.3B ウズベク語
• 💎 mGPT-1.3B ヤクート語

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。

フィードバック

バグを見つけた場合、またはあなたの言語でモデルを学習するための追加データがある場合は、ぜひフィードバックをください。

モデルは時間とともに改善されます。ぜひ注目していてください！