Cino Large

🚀 CINO：中国少数民族预训练语言模型

CINO是一个针对中国少数民族语言的预训练语言模型。目前像mBERT、XLM - R这类多语言预训练模型虽具备多语言和跨语言理解能力，但针对中国少数民族语言的预训练模型却很匮乏，这限制了强大NLP系统的构建。CINO由哈工大讯飞联合实验室（HFL）提出，它基于XLM - R，利用中国少数民族语料进行额外预训练，为少数民族语言的NLP研究提供了有力支持。

🚀 快速开始

若想了解更多关于CINO的详细信息，请阅读我们的GitHub仓库（中文）：CINO项目仓库

✨ 主要特性

• 填补空白：弥补了中国少数民族预训练语言模型的缺失，推动了相关NLP研究的发展。
• 多语言支持：支持多种中国少数民族语言，包括中文（zh）、藏语（bo）、蒙语（mn）、维吾尔语（ug）、哈萨克语（kk）、朝鲜语（ko）、壮语、粤语（yue）等。

📚 详细文档

多语言预训练语言模型（如mBERT、XLM - R）为语言理解提供了多语言和跨语言能力。近年来，多语言预训练语言模型的构建取得了快速进展。然而，针对中国少数民族语言的预训练语言模型的构建却缺乏相应贡献，这阻碍了研究人员构建强大的NLP系统。

为了解决中国少数民族预训练语言模型的缺失问题，哈工大讯飞联合实验室（HFL）提出了CINO（Chinese - miNOrity pre - trained language model）。它基于XLM - R，并使用中国少数民族语料进行额外的预训练，这些语料涵盖的语言如下：

• 中文（zh）
• 藏语（bo）
• 蒙语（mn）
• 维吾尔语（ug）
• 哈萨克语（kk）
• 朝鲜语（ko）
• 壮语
• 粤语（yue）

📄 许可证

本项目采用Apache - 2.0许可证。

🔗 相关资源

你可能还对以下项目感兴趣：

• Chinese MacBERT
• Chinese BERT series
• Chinese ELECTRA
• Chinese XLNet
• Knowledge Distillation Toolkit - TextBrewer
• More resources by HFL