Cino Small V2

🚀 CINO：中国少数民族预训练语言模型

CINO是专门为中国少数民族语言打造的预训练语言模型。当前多语言预训练模型虽有进展，但中国少数民族语言领域的预训练模型仍较匮乏，CINO的出现填补了这一空白，为构建强大的NLP系统提供助力。

🚀 快速开始

多语言预训练语言模型（如mBERT、XLM - R）为语言理解提供了多语言和跨语言能力，近年来多语言预训练语言模型（PLMs）发展迅速。然而，中国少数民族语言的预训练模型建设贡献不足，这阻碍了研究人员构建强大的NLP系统。

为解决中国少数民族预训练模型缺失的问题，哈工大讯飞联合实验室（HFL）提出了CINO（Chinese - miNOrity pre - trained language model）。它基于XLM - R，并使用中国少数民族语料进行额外的预训练，支持的语言包括：

• 中文（zh）
• 藏语（bo）
• 蒙语（mn）
• 维吾尔语（ug）
• 哈萨克语（kk）
• 朝鲜语（ko）
• 壮语
• 粤语（yue）

更多详细信息请阅读我们的GitHub仓库（中文）：[https://github.com/ymcui/Chinese - Minority - PLM](https://github.com/ymcui/Chinese - Minority - PLM)

你可能还会对以下项目感兴趣：

• Chinese MacBERT
• [Chinese BERT series](https://github.com/ymcui/Chinese - BERT - wwm)
• [Chinese ELECTRA](https://github.com/ymcui/Chinese - ELECTRA)
• [Chinese XLNet](https://github.com/ymcui/Chinese - XLNet)
• Knowledge Distillation Toolkit - TextBrewer

哈工大讯飞联合实验室（HFL）的更多资源：[https://github.com/ymcui/HFL - Anthology](https://github.com/ymcui/HFL - Anthology)

📄 许可证

本项目采用Apache - 2.0许可证。