Mgpt 1.3B Ukranian

🚀 乌克兰语 mGPT 1.3B

这是一个用于乌克兰语的语言模型。从名称中你可以猜到，该模型拥有 13 亿个参数。

乌克兰语属于印欧语系。这是一种非常优美动听的语言，大约有 4000 万使用者。以下是关于它的一些事实：

1. 它是东斯拉夫语族的语言之一，与俄语和白俄罗斯语并列。
2. 它是乌克兰的官方语言，使用西里尔字母的一种变体书写。
3. 乌克兰语拥有丰富的文学历史，在文化领域，尤其是诗歌和音乐方面，一直保持着活跃的影响力。

✨ 主要特性

• 专为乌克兰语设计的语言模型。
• 基于拥有 13 亿参数的基础模型进行训练。

🔧 技术细节

该模型是从基础 [mGPT - XL (13 亿)](https://huggingface.co/ai - forever/mGPT) 模型派生而来的（见下面的列表）。基础模型最初使用维基百科和 C4 语料库，在来自 25 个语系的 61 种语言上进行训练。

我们为 23 种语言找到了额外的数据，其中大多数被认为是小语种，并决定进一步微调基础模型。乌克兰语 mGPT 1.3B 在 1 个 A100 显卡上，以 batch_size = 4 和 2048 个标记的上下文窗口，额外训练了 10000 步。

该模型在验证集上的最终困惑度为 7.1。

训练损失和困惑度图表：

📚 详细文档

其他 mGPT - 1.3B 模型

• [🇦🇲 mGPT - 1.3B 亚美尼亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - armenian)
• [🇦🇿 mGPT - 1.3B 阿塞拜疆语](https://huggingface.co/ai - forever/mGPT - 1.3B - azerbaijan)
• [🍯 mGPT - 1.3B 巴什基尔语](https://huggingface.co/ai - forever/mGPT - 1.3B - bashkir)
• [🇧🇾 mGPT - 1.3B 白俄罗斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - belorussian)
• [🇧🇬 mGPT - 1.3B 保加利亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - bulgarian)
• [🌞 mGPT - 1.3B 布里亚特语](https://huggingface.co/ai - forever/mGPT - 1.3B - buryat)
• [🌳 mGPT - 1.3B 楚瓦什语](https://huggingface.co/ai - forever/mGPT - 1.3B - chuvash)
• [🇬🇪 mGPT - 1.3B 格鲁吉亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - georgian)
• [🌸 mGPT - 1.3B 卡尔梅克语](https://huggingface.co/ai - forever/mGPT - 1.3B - kalmyk)
• [🇰🇿 mGPT - 1.3B 哈萨克语](https://huggingface.co/ai - forever/mGPT - 1.3B - kazakh)
• [🇰🇬 mGPT - 1.3B 吉尔吉斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - kirgiz)
• [🐻 mGPT - 1.3B 马里语](https://huggingface.co/ai - forever/mGPT - 1.3B - mari)
• [🇲🇳 mGPT - 1.3B 蒙古语](https://huggingface.co/ai - forever/mGPT - 1.3B - mongol)
• [🐆 mGPT - 1.3B 奥塞梯语](https://huggingface.co/ai - forever/mGPT - 1.3B - ossetian)
• [🇮🇷 mGPT - 1.3B 波斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - persian)
• [🇷🇴 mGPT - 1.3B 罗马尼亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - romanian)
• [🇹🇯 mGPT - 1.3B 塔吉克语](https://huggingface.co/ai - forever/mGPT - 1.3B - tajik)
• [☕ mGPT - 1.3B 鞑靼语](https://huggingface.co/ai - forever/mGPT - 1.3B - tatar)
• [🇹🇲 mGPT - 1.3B 土库曼语](https://huggingface.co/ai - forever/mGPT - 1.3B - turkmen)
• [🐎 mGPT - 1.3B 图瓦语](https://huggingface.co/ai - forever/mGPT - 1.3B - tuvan)
• [🇺🇿 mGPT - 1.3B 乌兹别克语](https://huggingface.co/ai - forever/mGPT - 1.3B - uzbek)
• [💎 mGPT - 1.3B 雅库特语](https://huggingface.co/ai - forever/mGPT - 1.3B - yakut)

📄 许可证

本项目采用 MIT 许可证。

💡 使用建议

如果你发现了一个漏洞，或者有额外的数据可用于在你的语言上训练模型 —— 请给我们反馈。

模型将随着时间的推移不断改进，请持续关注！