Cino Small V2

🚀 CINO：中國少數民族預訓練語言模型

CINO是專門為中國少數民族語言打造的預訓練語言模型。當前多語言預訓練模型雖有進展，但中國少數民族語言領域的預訓練模型仍較匱乏，CINO的出現填補了這一空白，為構建強大的NLP系統提供助力。

🚀 快速開始

多語言預訓練語言模型（如mBERT、XLM - R）為語言理解提供了多語言和跨語言能力，近年來多語言預訓練語言模型（PLMs）發展迅速。然而，中國少數民族語言的預訓練模型建設貢獻不足，這阻礙了研究人員構建強大的NLP系統。

為解決中國少數民族預訓練模型缺失的問題，哈工大訊飛聯合實驗室（HFL）提出了CINO（Chinese - miNOrity pre - trained language model）。它基於XLM - R，並使用中國少數民族語料進行額外的預訓練，支持的語言包括：

• 中文（zh）
• 藏語（bo）
• 蒙語（mn）
• 維吾爾語（ug）
• 哈薩克語（kk）
• 朝鮮語（ko）
• 壯語
• 粵語（yue）

更多詳細信息請閱讀我們的GitHub倉庫（中文）：[https://github.com/ymcui/Chinese - Minority - PLM](https://github.com/ymcui/Chinese - Minority - PLM)

你可能還會對以下項目感興趣：

• Chinese MacBERT
• [Chinese BERT series](https://github.com/ymcui/Chinese - BERT - wwm)
• [Chinese ELECTRA](https://github.com/ymcui/Chinese - ELECTRA)
• [Chinese XLNet](https://github.com/ymcui/Chinese - XLNet)
• Knowledge Distillation Toolkit - TextBrewer

哈工大訊飛聯合實驗室（HFL）的更多資源：[https://github.com/ymcui/HFL - Anthology](https://github.com/ymcui/HFL - Anthology)

📄 許可證

本項目採用Apache - 2.0許可證。