Mgpt 1.3B Persian

🚀 🇮🇷 波斯语 mGPT 1.3B

波斯语 mGPT 1.3B 是一款专门为波斯语设计的语言模型。从名称可以推测，该模型拥有 13 亿个参数。波斯语属于印欧语系，是一种极具诗意的语言，约有 1.1 亿使用者。以下是关于波斯语的一些信息：

1. 波斯语也被称为法尔西语，主要在伊朗、阿富汗和塔吉克斯坦使用。
2. 波斯语拥有丰富的文学传统，诞生了如鲁米、哈菲兹和菲尔多西等标志性诗人。
3. 波斯语使用波斯字母，它是阿拉伯字母的一种变体。

🚀 快速开始

本部分暂未在原文中体现，若有相关内容可补充。

✨ 主要特性

波斯语 mGPT 1.3B 是专门针对波斯语设计的语言模型，能够更好地处理和生成波斯语内容。

🔧 技术细节

波斯语 mGPT 1.3B 是基于基础 [mGPT - XL (1.3B)](https://huggingface.co/ai - forever/mGPT) 模型派生而来的（见以下列表）。基础模型最初使用维基百科和 C4 语料库，在来自 25 个语系的 61 种语言上进行训练。

我们为 23 种语言找到了额外的数据，其中大部分被认为是小语种，并决定进一步微调基础模型。波斯语 mGPT 1.3B 在 1 张 A100 显卡上，以 batch_size = 4 和 2048 个标记的上下文窗口，额外训练了 200 步。

该模型在验证集上的最终困惑度为 33.44。

训练损失和困惑度图表:

📚 详细文档

其他 mGPT - 1.3B 模型

• [🇦🇲 mGPT - 1.3B 亚美尼亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - armenian)
• [🇦🇿 mGPT - 1.3B 阿塞拜疆语](https://huggingface.co/ai - forever/mGPT - 1.3B - azerbaijan)
• [🍯 mGPT - 1.3B 巴什基尔语](https://huggingface.co/ai - forever/mGPT - 1.3B - bashkir)
• [🇧🇾 mGPT - 1.3B 白俄罗斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - belorussian)
• [🇧🇬 mGPT - 1.3B 保加利亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - bulgarian)
• [🌞 mGPT - 1.3B 布里亚特语](https://huggingface.co/ai - forever/mGPT - 1.3B - buryat)
• [🌳 mGPT - 1.3B 楚瓦什语](https://huggingface.co/ai - forever/mGPT - 1.3B - chuvash)
• [🇬🇪 mGPT - 1.3B 格鲁吉亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - georgian)
• [🌸 mGPT - 1.3B 卡尔梅克语](https://huggingface.co/ai - forever/mGPT - 1.3B - kalmyk)
• [🇰🇿 mGPT - 1.3B 哈萨克语](https://huggingface.co/ai - forever/mGPT - 1.3B - kazakh)
• [🇰🇬 mGPT - 1.3B 吉尔吉斯语](https://huggingface.co/ai - forever/mGPT - 1.3B - kirgiz)
• [🐻 mGPT - 1.3B 马里语](https://huggingface.co/ai - forever/mGPT - 1.3B - mari)
• [🇲🇳 mGPT - 1.3B 蒙古语](https://huggingface.co/ai - forever/mGPT - 1.3B - mongol)
• [🐆 mGPT - 1.3B 奥塞梯语](https://huggingface.co/ai - forever/mGPT - 1.3B - ossetian)
• [🇷🇴 mGPT - 1.3B 罗马尼亚语](https://huggingface.co/ai - forever/mGPT - 1.3B - romanian)
• [🇹🇯 mGPT - 1.3B 塔吉克语](https://huggingface.co/ai - forever/mGPT - 1.3B - tajik)
• [☕ mGPT - 1.3B 鞑靼语](https://huggingface.co/ai - forever/mGPT - 1.3B - tatar)
• [🇹🇲 mGPT - 1.3B 土库曼语](https://huggingface.co/ai - forever/mGPT - 1.3B - turkmen)
• [🐎 mGPT - 1.3B 图瓦语](https://huggingface.co/ai - forever/mGPT - 1.3B - tuvan)
• [🇺🇦 mGPT - 1.3B 乌克兰语](https://huggingface.co/ai - forever/mGPT - 1.3B - ukranian)
• [🇺🇿 mGPT - 1.3B 乌兹别克语](https://huggingface.co/ai - forever/mGPT - 1.3B - uzbek)
• [💎 mGPT - 1.3B 雅库特语](https://huggingface.co/ai - forever/mGPT - 1.3B - yakut)

📄 许可证

本项目采用 MIT 许可证。

💡 反馈

如果您发现了漏洞，或者有用于在您的语言上训练模型的额外数据，请向我们反馈。模型会随着时间不断改进，敬请关注！