Cino Large

🚀 CINO：中國少數民族預訓練語言模型

CINO是一個針對中國少數民族語言的預訓練語言模型。目前像mBERT、XLM - R這類多語言預訓練模型雖具備多語言和跨語言理解能力，但針對中國少數民族語言的預訓練模型卻很匱乏，這限制了強大NLP系統的構建。CINO由哈工大訊飛聯合實驗室（HFL）提出，它基於XLM - R，利用中國少數民族語料進行額外預訓練，為少數民族語言的NLP研究提供了有力支持。

🚀 快速開始

若想了解更多關於CINO的詳細信息，請閱讀我們的GitHub倉庫（中文）：CINO項目倉庫

✨ 主要特性

• 填補空白：彌補了中國少數民族預訓練語言模型的缺失，推動了相關NLP研究的發展。
• 多語言支持：支持多種中國少數民族語言，包括中文（zh）、藏語（bo）、蒙語（mn）、維吾爾語（ug）、哈薩克語（kk）、朝鮮語（ko）、壯語、粵語（yue）等。

📚 詳細文檔

多語言預訓練語言模型（如mBERT、XLM - R）為語言理解提供了多語言和跨語言能力。近年來，多語言預訓練語言模型的構建取得了快速進展。然而，針對中國少數民族語言的預訓練語言模型的構建卻缺乏相應貢獻，這阻礙了研究人員構建強大的NLP系統。

為了解決中國少數民族預訓練語言模型的缺失問題，哈工大訊飛聯合實驗室（HFL）提出了CINO（Chinese - miNOrity pre - trained language model）。它基於XLM - R，並使用中國少數民族語料進行額外的預訓練，這些語料涵蓋的語言如下：

• 中文（zh）
• 藏語（bo）
• 蒙語（mn）
• 維吾爾語（ug）
• 哈薩克語（kk）
• 朝鮮語（ko）
• 壯語
• 粵語（yue）

📄 許可證

本項目採用Apache - 2.0許可證。

🔗 相關資源

你可能還對以下項目感興趣：

• Chinese MacBERT
• Chinese BERT series
• Chinese ELECTRA
• Chinese XLNet
• Knowledge Distillation Toolkit - TextBrewer
• More resources by HFL