Cino Base V2

🚀 CINO：中国少数民族预训练语言模型

CINO是一个针对中国少数民族语言的预训练语言模型。当前像mBERT、XLM - R这类多语言预训练模型虽提供了语言理解的多语言和跨语言能力，但在构建中国少数民族语言预训练模型方面的成果较少，这阻碍了强大NLP系统的构建。CINO基于XLM - R，使用中国少数民族语料进行额外预训练，有效填补了这一空白。

🚀 快速开始

若想了解更多关于CINO的详细信息，请阅读我们的GitHub仓库（中文）：[https://github.com/ymcui/Chinese - Minority - PLM](https://github.com/ymcui/Chinese - Minority - PLM)

✨ 主要特性

• 填补空白：针对中国少数民族语言预训练模型缺失的问题，提出了CINO模型。
• 多语言支持：支持多种中国少数民族语言，包括中文（zh）、藏语（bo）、蒙语（mn）、维吾尔语（ug）、哈萨克语（kk）、朝鲜语（ko）、壮语、粤语（yue）等。
• 基于XLM - R：在XLM - R的基础上，使用中国少数民族语料进行额外预训练。

📄 许可证

本项目采用Apache - 2.0许可证。

📚 详细文档

你可能还对以下项目感兴趣：

• Chinese MacBERT
• [Chinese BERT series](https://github.com/ymcui/Chinese - BERT - wwm)
• [Chinese ELECTRA](https://github.com/ymcui/Chinese - ELECTRA)
• [Chinese XLNet](https://github.com/ymcui/Chinese - XLNet)
• Knowledge Distillation Toolkit - TextBrewer

更多哈工大讯飞联合实验室（HFL）的资源请访问：[https://github.com/ymcui/HFL - Anthology](https://github.com/ymcui/HFL - Anthology)