Mgpt 1.3B Kazakh

🚀 🇰🇿 哈萨克语 mGPT 1.3B

哈萨克语 mGPT 1.3B 是一款专为哈萨克语设计的语言模型。从名称可以看出，该模型拥有 13 亿个参数。哈萨克语属于突厥语族，是一种充满活力的语言，约有 1800 万使用者。以下是关于哈萨克语的一些信息：

1. 它是哈萨克斯坦的主要语言。
2. 哈萨克语有自己的西里尔字母版本，但正在向拉丁字母过渡。
3. 它拥有丰富的口头文学传统，包括史诗诗歌。

✨ 主要特性

• 专为哈萨克语打造，能更好地处理该语言相关的任务。
• 基于强大的基础模型进行进一步调优，具备较好的性能。

🔧 技术细节

哈萨克语 mGPT 1.3B 是基于基础 [mGPT - XL (1.3B)](https://huggingface.co/ai - forever/mGPT) 模型派生而来的模型之一（见以下列表）。基础模型最初使用维基百科和 C4 语料库，在来自 25 个语系的 61 种语言上进行训练。

我们为 23 种语言找到了额外的数据，其中大多数被认为是小语种，并决定进一步微调基础模型。哈萨克语 mGPT 1.3B 在 1 块 A100 显卡上，以 batch_size = 4 和 2048 个标记的上下文窗口，额外训练了 150000 步。

该模型在验证集上的最终困惑度为 3.38。

训练损失和困惑度图表：

📚 详细文档

其他 mGPT - 1.3B 模型

• [🇦🇲 mGPT - 1.3B 亚美尼亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - armenian)
• [🇦🇿 mGPT - 1.3B 阿塞拜疆语](https://huggingface.co/ai - forever/mGPT - 1.3B - azerbaijan)
• [🍯 mGPT - 1.3B 巴什基尔语](https://huggingface.co/ai - forever/mGPT - 1.3B - bashkir)
• [🇧🇾 mGPT - 1.3B 白俄罗斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - belorussian)
• [🇧🇬 mGPT - 1.3B 保加利亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - bulgarian)
• [🌞 mGPT - 1.3B 布里亚特语](https://huggingface.co/ai - forever/mGPT - 1.3B - buryat)
• [🌳 mGPT - 1.3B 楚瓦什语](https://huggingface.co/ai - forever/mGPT - 1.3B - chuvash)
• [🇬🇪 mGPT - 1.3B 格鲁吉亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - georgian)
• [🌸 mGPT - 1.3B 卡尔梅克语](https://huggingface.co/ai - forever/mGPT - 1.3B - kalmyk)
• [🇰🇬 mGPT - 1.3B 吉尔吉斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - kirgiz)
• [🐻 mGPT - 1.3B 马里语](https://huggingface.co/ai - forever/mGPT - 1.3B - mari)
• [🇲🇳 mGPT - 1.3B 蒙古语](https://huggingface.co/ai - forever/mGPT - 1.3B - mongol)
• [🐆 mGPT - 1.3B 奥塞梯语](https://huggingface.co/ai - forever/mGPT - 1.3B - ossetian)
• [🇮🇷 mGPT - 1.3B 波斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - persian)
• [🇷🇴 mGPT - 1.3B 罗马尼亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - romanian)
• [🇹🇯 mGPT - 1.3B 塔吉克语](https://huggingface.co/ai - forever/mGPT - 1.3B - tajik)
• [☕ mGPT - 1.3B 鞑靼语](https://huggingface.co/ai - forever/mGPT - 1.3B - tatar)
• [🇹🇲 mGPT - 1.3B 土库曼语](https://huggingface.co/ai - forever/mGPT - 1.3B - turkmen)
• [🐎 mGPT - 1.3B 图瓦语](https://huggingface.co/ai - forever/mGPT - 1.3B - tuvan)
• [🇺🇦 mGPT - 1.3B 乌克兰语](https://huggingface.co/ai - forever/mGPT - 1.3B - ukranian)
• [🇺🇿 mGPT - 1.3B 乌兹别克语](https://huggingface.co/ai - forever/mGPT - 1.3B - uzbek)
• [💎 mGPT - 1.3B 雅库特语](https://huggingface.co/ai - forever/mGPT - 1.3B - yakut)

📄 许可证

本项目采用 MIT 许可证。

📝 反馈

如果您发现了模型的 bug 或者有用于训练您所在语言模型的额外数据，请向我们反馈。模型会随着时间不断改进，敬请关注！