Mgpt 1.3B Uzbek

🚀 🇺🇿 ウズベク語 mGPT 1.3B

ウズベク語用の言語モデルです。名前から推測できるように、このモデルは13億個のパラメータを持っています。

ウズベク語はチュルク語族に属しています。これは非常にリズミカルな言語で、約3200万人が話しています。以下はその言語に関するいくつかの事実です。

1. ウズベキスタンの公用語です。
2. ウズベキスタンが独立した後、キリル文字からラテン文字へ移行しましたが、キリル文字は高齢者の間でまだ使用されています。
3. 歴史的に、貿易やイスラムの学問的伝統のため、ペルシャ語やアラビア語の影響を受けています。

🚀 クイックスタート

このウズベク語用の言語モデルは、ウズベク語に特化した自然言語処理タスクに利用できます。

🔧 技術詳細

このモデルは、mGPT-XL (1.3B) ベースモデルから派生したモデルの1つです（下のリストを参照）。元のモデルは、WikipediaとC4コーパスを使用して、25の語族に属する61の言語で学習されました。

私たちは、23の言語に関する追加データを見つけました。これらの多くはマイナーな言語と見なされています。そこで、ベースモデルをさらに微調整することにしました。ウズベク語 mGPT 1.3B は、1台のA100で、batch_size=4、コンテキストウィンドウが 2048 トークンの条件で、さらに50000ステップ学習されました。

このモデルの検証データにおける最終的なパープレキシティは 6.84 です。

学習損失とパープレキシティのグラフ:

📚 関連するmGPT-1.3Bモデル

• 🇦🇲 mGPT-1.3B アルメニア語
• 🇦🇿 mGPT-1.3B アゼルバイジャン語
• 🍯 mGPT-1.3B バシキール語
• 🇧🇾 mGPT-1.3B ベラルーシ語
• 🇧🇬 mGPT-1.3B ブルガリア語
• 🌞 mGPT-1.3B ブリヤート語
• 🌳 mGPT-1.3B チュヴァシ語
• 🇬🇪 mGPT-1.3B グルジア語
• 🌸 mGPT-1.3B カルムイク語
• 🇰🇿 mGPT-1.3B カザフ語
• 🇰🇬 mGPT-1.3B キルギス語
• 🐻 mGPT-1.3B マリ語
• 🇲🇳 mGPT-1.3B モンゴル語
• 🐆 mGPT-1.3B オセット語
• 🇮🇷 mGPT-1.3B ペルシャ語
• 🇷🇴 mGPT-1.3B ルーマニア語
• 🇹🇯 mGPT-1.3B タジク語
• ☕ mGPT-1.3B タタール語
• 🇹🇲 mGPT-1.3B トルクメン語
• 🐎 mGPT-1.3B トゥバ語
• 🇺🇦 mGPT-1.3B ウクライナ語
• 💎 mGPT-1.3B ヤクート語

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

💬 フィードバック

もしバグを見つけたり、あなたの言語でモデルを学習させるための追加データがある場合は、ぜひフィードバックをください。

このモデルは時間とともに改善されていきます。ぜひ注目していてください！