Mgpt 1.3B Mongol

🚀 🇲🇳 蒙古語 mGPT 1.3B

蒙古語 mGPT 1.3B 是專門為蒙古語設計的語言模型。從名稱就能看出，該模型擁有 13 億個參數，能夠為蒙古語相關的自然語言處理任務提供強大支持。

蒙古語屬於蒙古語族，是一門歷史悠久的語言，大約有 570 萬使用者。以下是關於蒙古語的一些信息：

1. 它是蒙古國的官方語言。
2. 在蒙古國，蒙古語使用西裡爾字母書寫，但傳統的蒙古文仍在其他地區使用。
3. 蒙古語與蒙古帝國以及成吉思汗等歷史人物有著深厚的淵源。

✨ 主要特性

• 基於強大的基礎模型：以 mGPT-XL (1.3B) 為基礎模型衍生而來。
• 多語言數據訓練：原基礎模型使用維基百科和 C4 語料庫，在來自 25 個語系的 61 種語言上進行訓練。
• 針對性優化：額外收集了 23 種語言（大多為小語種）的數據，對基礎模型進行了進一步微調。

🔧 技術細節

Mongol mGPT 1.3B 是從基礎的 mGPT-XL (1.3B) 模型派生而來的模型之一（見以下列表）。基礎模型最初使用維基百科和 C4 語料庫，在來自 25 個語系的 61 種語言上進行訓練。

我們為 23 種語言找到了額外的數據（其中大多數被認為是小語種），並決定進一步微調基礎模型。Mongol mGPT 1.3B 在 1 張 A100 顯卡上，以 batch_size = 4 和上下文窗口為 2048 個標記的條件下，額外訓練了 50000 步。

該模型在驗證集上的最終困惑度為 4.35。

訓練損失和困惑度圖表：

📚 其他 mGPT - 1.3B 模型

• 🇦🇲 mGPT - 1.3B 亞美尼亞語
• 🇦🇿 mGPT - 1.3B 阿塞拜疆語
• 🍯 mGPT - 1.3B 巴什基爾語
• 🇧🇾 mGPT - 1.3B 白俄羅斯語
• 🇧🇬 mGPT - 1.3B 保加利亞語
• 🌞 mGPT - 1.3B 布里亞特語
• 🌳 mGPT - 1.3B 楚瓦什語
• 🇬🇪 mGPT - 1.3B 格魯吉亞語
• 🌸 mGPT - 1.3B 卡爾梅克語
• 🇰🇿 mGPT - 1.3B 哈薩克語
• 🇰🇬 mGPT - 1.3B 吉爾吉斯語
• 🐻 mGPT - 1.3B 馬里語
• 🐆 mGPT - 1.3B 奧塞梯語
• 🇮🇷 mGPT - 1.3B 波斯語
• 🇷🇴 mGPT - 1.3B 羅馬尼亞語
• 🇹🇯 mGPT - 1.3B 塔吉克語
• ☕ mGPT - 1.3B 韃靼語
• 🇹🇲 mGPT - 1.3B 土庫曼語
• 🐎 mGPT - 1.3B 圖瓦語
• 🇺🇦 mGPT - 1.3B 烏克蘭語
• 🇺🇿 mGPT - 1.3B 烏茲別克語
• 💎 mGPT - 1.3B 雅庫特語

📄 許可證

本模型採用 MIT 許可證。

💬 反饋

如果您發現了模型的 bug 或者有額外的數據可以用於在您的語言上訓練模型，請向我們反饋。

模型將隨著時間不斷改進，請持續關注！