Mgpt 1.3B Yakut

🚀 💎 雅库特 mGPT 1.3B

雅库特语语言模型。从名称可以猜到，该模型拥有 13 亿个参数。

雅库特语属于突厥语族。这是一种底蕴深厚的语言，大约有 50 万使用者。以下是关于它的一些事实：

1. 它也被称为萨哈语。
2. 它在俄罗斯的萨哈共和国使用。
3. 尽管属于突厥语族，但它受到了通古斯语系的影响。

🚀 快速开始

本部分暂未提供相关内容，你可以根据模型的使用方法等补充如何快速开始使用该模型的内容。

✨ 主要特性

该模型是专门为雅库特语设计的语言模型，拥有 13 亿参数，能够处理雅库特语相关的语言任务。

🔧 技术细节

它是基于基础 mGPT-XL (1.3B) 模型派生出来的模型之一（见下面的列表），该基础模型最初使用维基百科和 C4 语料库在来自 25 个语系的 61 种语言上进行训练。

我们为 23 种语言找到了额外的数据，其中大多数被认为是小语种，并决定进一步微调基础模型。雅库特 mGPT 1.3B 在 1 块 A100 显卡上以 batch_size=4 和 2048 个标记的上下文窗口进行了另外 2000 步的训练。

该模型在验证集上的最终困惑度为 10.65。

训练损失和困惑度图表:

📚 详细文档

其他 mGPT - 1.3B 模型

• 🇦🇲 mGPT - 1.3B 亚美尼亚语
• 🇦🇿 mGPT - 1.3B 阿塞拜疆语
• 🍯 mGPT - 1.3B 巴什基尔语
• 🇧🇾 mGPT - 1.3B 白俄罗斯语
• 🇧🇬 mGPT - 1.3B 保加利亚语
• 🌞 mGPT - 1.3B 布里亚特语
• 🌳 mGPT - 1.3B 楚瓦什语
• 🇬🇪 mGPT - 1.3B 格鲁吉亚语
• 🌸 mGPT - 1.3B 卡尔梅克语
• 🇰🇿 mGPT - 1.3B 哈萨克语
• 🇰🇬 mGPT - 1.3B 吉尔吉斯语
• 🐻 mGPT - 1.3B 马里语
• 🇲🇳 mGPT - 1.3B 蒙古语
• 🐆 mGPT - 1.3B 奥塞梯语
• 🇮🇷 mGPT - 1.3B 波斯语
• 🇷🇴 mGPT - 1.3B 罗马尼亚语
• 🇹🇯 mGPT - 1.3B 塔吉克语
• ☕ mGPT - 1.3B 鞑靼语
• 🇹🇲 mGPT - 1.3B 土库曼语
• 🐎 mGPT - 1.3B 图瓦语
• 🇺🇦 mGPT - 1.3B 乌克兰语
• 🇺🇿 mGPT - 1.3B 乌兹别克语

📄 许可证

本项目采用 MIT 许可证。

💡 反馈

如果你发现了 bug 或者有额外的数据可以用于在你的语言上训练模型 — 请给我们反馈。

模型会随着时间不断改进。请持续关注！