Cino Large V2

🚀 CINO：中國少數民族預訓練語言模型

CINO 是一個多語言預訓練語言模型，旨在為中國少數民族語言提供強大的語言理解能力。目前，像 mBERT、XLM - R 這類多語言預訓練模型雖然為語言理解提供了多語言和跨語言的能力，且近年來多語言預訓練語言模型發展迅速，但針對中國少數民族語言的預訓練模型卻十分匱乏，這極大地阻礙了研究人員構建強大的自然語言處理系統。為解決這一問題，哈工大訊飛聯合實驗室（HFL）提出了 CINO 模型。

✨ 主要特性

CINO 基於 XLM - R 模型，並使用中國少數民族語料進行額外的預訓練，支持以下語言：

• 中文（zh）
• 藏語（bo）
• 蒙語（mn）
• 維吾爾語（ug）
• 哈薩克語（kk）
• 朝鮮語（ko）
• 壯語
• 粵語（yue）

🚀 快速開始

更多詳細信息請閱讀我們的 GitHub 倉庫（中文）：[CINO 項目倉庫](https://github.com/ymcui/Chinese - Minority - PLM)

📚 詳細文檔

你可能還對以下項目感興趣：

• Chinese MacBERT
• [Chinese BERT series](https://github.com/ymcui/Chinese - BERT - wwm)
• [Chinese ELECTRA](https://github.com/ymcui/Chinese - ELECTRA)
• [Chinese XLNet](https://github.com/ymcui/Chinese - XLNet)
• Knowledge Distillation Toolkit - TextBrewer

哈工大訊飛聯合實驗室（HFL）的更多資源：[HFL 資源合集](https://github.com/ymcui/HFL - Anthology)

📄 許可證

本項目採用 Apache - 2.0 許可證。