Cino Base V2

🚀 CINO：中國少數民族預訓練語言模型

CINO是一個針對中國少數民族語言的預訓練語言模型。當前像mBERT、XLM - R這類多語言預訓練模型雖提供了語言理解的多語言和跨語言能力，但在構建中國少數民族語言預訓練模型方面的成果較少，這阻礙了強大NLP系統的構建。CINO基於XLM - R，使用中國少數民族語料進行額外預訓練，有效填補了這一空白。

🚀 快速開始

若想了解更多關於CINO的詳細信息，請閱讀我們的GitHub倉庫（中文）：[https://github.com/ymcui/Chinese - Minority - PLM](https://github.com/ymcui/Chinese - Minority - PLM)

✨ 主要特性

• 填補空白：針對中國少數民族語言預訓練模型缺失的問題，提出了CINO模型。
• 多語言支持：支持多種中國少數民族語言，包括中文（zh）、藏語（bo）、蒙語（mn）、維吾爾語（ug）、哈薩克語（kk）、朝鮮語（ko）、壯語、粵語（yue）等。
• 基於XLM - R：在XLM - R的基礎上，使用中國少數民族語料進行額外預訓練。

📄 許可證

本項目採用Apache - 2.0許可證。

📚 詳細文檔

你可能還對以下項目感興趣：

• Chinese MacBERT
• [Chinese BERT series](https://github.com/ymcui/Chinese - BERT - wwm)
• [Chinese ELECTRA](https://github.com/ymcui/Chinese - ELECTRA)
• [Chinese XLNet](https://github.com/ymcui/Chinese - XLNet)
• Knowledge Distillation Toolkit - TextBrewer

更多哈工大訊飛聯合實驗室（HFL）的資源請訪問：[https://github.com/ymcui/HFL - Anthology](https://github.com/ymcui/HFL - Anthology)