Mgpt 1.3B Persian

🚀 🇮🇷 ペルシャ語 mGPT 1.3B

ペルシャ語用の言語モデルです。名前から推測できるように、このモデルは13億個のパラメータを持っています。

ペルシャ語はインド・ヨーロッパ語族に属します。約1億1000万人が話す非常に詩的な言語です。以下にいくつかの事実を紹介します：

1. ファルシー語としても知られており、主にイラン、アフガニスタン、タジキスタンで話されています。
2. ルミー、ハーフェズ、フェルドウシーンなどの象徴的な詩人がいる、豊かな文学的伝統を持っています。
3. アラビア文字の変種であるペルシャ文字を使用しています。

🚀 クイックスタート

このモデルはペルシャ語の言語処理に特化しており、ペルシャ語の文章生成や理解などのタスクに利用できます。

🔧 技術詳細

このモデルは、mGPT-XL (1.3B) ベースモデルから派生したモデルの1つです（下のリストを参照）。元のモデルは、WikipediaとC4コーパスを使用して、25の語族に属する61の言語で学習されました。

我々は、23の言語（その多くはマイナー言語とされています）に関する追加データを見つけ、ベースモデルをさらに微調整することにしました。ペルシャ語 mGPT 1.3B は、1台のA100で、バッチサイズ4、コンテキストウィンドウ 2048 トークンで、さらに200ステップ学習されました。

このモデルの検証データにおける最終的なパープレキシティは 33.44 です。

学習損失とパープレキシティのグラフ:

📚 他の mGPT-1.3B モデル

• 🇦🇲 mGPT-1.3B アルメニア語
• 🇦🇿 mGPT-1.3B アゼルバイジャン語
• 🍯 mGPT-1.3B バシキール語
• 🇧🇾 mGPT-1.3B ベラルーシ語
• 🇧🇬 mGPT-1.3B ブルガリア語
• 🌞 mGPT-1.3B ブリヤート語
• 🌳 mGPT-1.3B チュヴァシ語
• 🇬🇪 mGPT-1.3B グルジア語
• 🌸 mGPT-1.3B カルムイク語
• 🇰🇿 mGPT-1.3B カザフ語
• 🇰🇬 mGPT-1.3B キルギス語
• 🐻 mGPT-1.3B マリ語
• 🇲🇳 mGPT-1.3B モンゴル語
• 🐆 mGPT-1.3B オセット語
• 🇷🇴 mGPT-1.3B ルーマニア語
• 🇹🇯 mGPT-1.3B タジク語
• ☕ mGPT-1.3B タタール語
• 🇹🇲 mGPT-1.3B トルクメン語
• 🐎 mGPT-1.3B トゥバ語
• 🇺🇦 mGPT-1.3B ウクライナ語
• 🇺🇿 mGPT-1.3B ウズベク語
• 💎 mGPT-1.3B ヤクート語

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

Feedback

もしバグを見つけた場合、またはあなたの言語でモデルを学習させるための追加データがある場合は、ぜひフィードバックをください。

モデルは時間とともに改善されていきます。ぜひ注目してください！