Mgpt 1.3B Mongol

🚀 🇲🇳 蒙古语 mGPT 1.3B

蒙古语 mGPT 1.3B 是专门为蒙古语设计的语言模型。从名称就能看出，该模型拥有 13 亿个参数，能够为蒙古语相关的自然语言处理任务提供强大支持。

蒙古语属于蒙古语族，是一门历史悠久的语言，大约有 570 万使用者。以下是关于蒙古语的一些信息：

1. 它是蒙古国的官方语言。
2. 在蒙古国，蒙古语使用西里尔字母书写，但传统的蒙古文仍在其他地区使用。
3. 蒙古语与蒙古帝国以及成吉思汗等历史人物有着深厚的渊源。

✨ 主要特性

• 基于强大的基础模型：以 mGPT-XL (1.3B) 为基础模型衍生而来。
• 多语言数据训练：原基础模型使用维基百科和 C4 语料库，在来自 25 个语系的 61 种语言上进行训练。
• 针对性优化：额外收集了 23 种语言（大多为小语种）的数据，对基础模型进行了进一步微调。

🔧 技术细节

Mongol mGPT 1.3B 是从基础的 mGPT-XL (1.3B) 模型派生而来的模型之一（见以下列表）。基础模型最初使用维基百科和 C4 语料库，在来自 25 个语系的 61 种语言上进行训练。

我们为 23 种语言找到了额外的数据（其中大多数被认为是小语种），并决定进一步微调基础模型。Mongol mGPT 1.3B 在 1 张 A100 显卡上，以 batch_size = 4 和上下文窗口为 2048 个标记的条件下，额外训练了 50000 步。

该模型在验证集上的最终困惑度为 4.35。

训练损失和困惑度图表：

📚 其他 mGPT - 1.3B 模型

• 🇦🇲 mGPT - 1.3B 亚美尼亚语
• 🇦🇿 mGPT - 1.3B 阿塞拜疆语
• 🍯 mGPT - 1.3B 巴什基尔语
• 🇧🇾 mGPT - 1.3B 白俄罗斯语
• 🇧🇬 mGPT - 1.3B 保加利亚语
• 🌞 mGPT - 1.3B 布里亚特语
• 🌳 mGPT - 1.3B 楚瓦什语
• 🇬🇪 mGPT - 1.3B 格鲁吉亚语
• 🌸 mGPT - 1.3B 卡尔梅克语
• 🇰🇿 mGPT - 1.3B 哈萨克语
• 🇰🇬 mGPT - 1.3B 吉尔吉斯语
• 🐻 mGPT - 1.3B 马里语
• 🐆 mGPT - 1.3B 奥塞梯语
• 🇮🇷 mGPT - 1.3B 波斯语
• 🇷🇴 mGPT - 1.3B 罗马尼亚语
• 🇹🇯 mGPT - 1.3B 塔吉克语
• ☕ mGPT - 1.3B 鞑靼语
• 🇹🇲 mGPT - 1.3B 土库曼语
• 🐎 mGPT - 1.3B 图瓦语
• 🇺🇦 mGPT - 1.3B 乌克兰语
• 🇺🇿 mGPT - 1.3B 乌兹别克语
• 💎 mGPT - 1.3B 雅库特语

📄 许可证

本模型采用 MIT 许可证。

💬 反馈

如果您发现了模型的 bug 或者有额外的数据可以用于在您的语言上训练模型，请向我们反馈。

模型将随着时间不断改进，请持续关注！