Mgpt 1.3B Tatar

🚀 鞑靼语 mGPT 1.3B

鞑靼语 mGPT 1.3B 是一款针对鞑靼语的语言模型。从名称可以看出，该模型拥有 13 亿个参数。

鞑靼语属于突厥语族，是一种富有韵律的语言，约有 530 万使用者。以下是关于鞑靼语的一些信息：

1. 主要由鞑靼人使用，主要分布在俄罗斯的鞑靼斯坦共和国。
2. 历史上，鞑靼语曾使用过阿拉伯文和西里尔文两种文字，不过拉丁字母也逐渐流行起来。
3. 鞑靼人拥有丰富的历史，尤其在 13 - 15 世纪与金帐汗国有着紧密的联系。

🔧 技术细节

鞑靼语 mGPT 1.3B 是基于基础 [mGPT - XL (1.3B)](https://huggingface.co/ai - forever/mGPT) 模型派生而来的（见以下列表）。基础模型最初使用维基百科和 C4 语料库，在来自 25 个语系的 61 种语言上进行训练。

我们为 23 种语言找到了额外的数据，其中大部分被认为是小语种，并决定进一步微调基础模型。鞑靼语 mGPT 1.3B 在 1 块 A100 显卡上，以 batch_size = 4 和 2048 个词元的上下文窗口，额外训练了 5000 步。

该模型在验证集上的最终困惑度为 3.69。

训练损失和困惑度图表：

其他 mGPT - 1.3B 模型

• [🇦🇲 mGPT - 1.3B 亚美尼亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - armenian)
• [🇦🇿 mGPT - 1.3B 阿塞拜疆语](https://huggingface.co/ai - forever/mGPT - 1.3B - azerbaijan)
• [🍯 mGPT - 1.3B 巴什基尔语](https://huggingface.co/ai - forever/mGPT - 1.3B - bashkir)
• [🇧🇾 mGPT - 1.3B 白俄罗斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - belorussian)
• [🇧🇬 mGPT - 1.3B 保加利亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - bulgarian)
• [🌞 mGPT - 1.3B 布里亚特语](https://huggingface.co/ai - forever/mGPT - 1.3B - buryat)
• [🌳 mGPT - 1.3B 楚瓦什语](https://huggingface.co/ai - forever/mGPT - 1.3B - chuvash)
• [🇬🇪 mGPT - 1.3B 格鲁吉亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - georgian)
• [🌸 mGPT - 1.3B 卡尔梅克语](https://huggingface.co/ai - forever/mGPT - 1.3B - kalmyk)
• [🇰🇿 mGPT - 1.3B 哈萨克语](https://huggingface.co/ai - forever/mGPT - 1.3B - kazakh)
• [🇰🇬 mGPT - 1.3B 吉尔吉斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - kirgiz)
• [🐻 mGPT - 1.3B 马里语](https://huggingface.co/ai - forever/mGPT - 1.3B - mari)
• [🇲🇳 mGPT - 1.3B 蒙古语](https://huggingface.co/ai - forever/mGPT - 1.3B - mongol)
• [🐆 mGPT - 1.3B 奥塞梯语](https://huggingface.co/ai - forever/mGPT - 1.3B - ossetian)
• [🇮🇷 mGPT - 1.3B 波斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - persian)
• [🇷🇴 mGPT - 1.3B 罗马尼亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - romanian)
• [🇹🇯 mGPT - 1.3B 塔吉克语](https://huggingface.co/ai - forever/mGPT - 1.3B - tajik)
• [🇹🇲 mGPT - 1.3B 土库曼语](https://huggingface.co/ai - forever/mGPT - 1.3B - turkmen)
• [🐎 mGPT - 1.3B 图瓦语](https://huggingface.co/ai - forever/mGPT - 1.3B - tuvan)
• [🇺🇦 mGPT - 1.3B 乌克兰语](https://huggingface.co/ai - forever/mGPT - 1.3B - ukranian)
• [🇺🇿 mGPT - 1.3B 乌兹别克语](https://huggingface.co/ai - forever/mGPT - 1.3B - uzbek)
• [💎 mGPT - 1.3B 雅库特语](https://huggingface.co/ai - forever/mGPT - 1.3B - yakut)

📄 许可证

本模型采用 MIT 许可证。

💬 反馈

如果您发现了模型的漏洞，或者有用于训练您所在语言模型的额外数据，请向我们反馈。

模型将不断改进，敬请关注！