Cino Large V2

🚀 CINO: 中国少数民族言語の事前学習言語モデル

多言語事前学習言語モデル（mBERTやXLM - Rなど）は、言語理解における多言語およびクロス言語能力を提供します。近年、多言語事前学習言語モデルの構築において急速な進歩が見られます。しかし、中国少数民族言語の事前学習言語モデルの構築に関する貢献が不足しており、研究者が強力な自然言語処理システムを構築する妨げとなっています。

この中国少数民族事前学習言語モデルの不足を解消するため、哈工大讯飞联合实验室（HFL）はCINO（Chinese - miNOrity pre - trained language model）を提案します。これはXLM - Rをベースに、中国少数民族コーパスを用いた追加の事前学習を行って構築されています。対象言語は以下の通りです。

• 中国語、中文（zh）
• チベット語、藏语（bo）
• モンゴル語（ウイグル文字表記）、蒙语（mn）
• ウイグル語、维吾尔语（ug）
• カザフ語（アラビア文字表記）、哈萨克语（kk）
• 朝鮮語、朝鲜语（ko）
• チワン語、壮语
• 広東語、粤语（yue）

詳細については、GitHubリポジトリ（中国語）をご覧ください。https://github.com/ymcui/Chinese - Minority - PLM

また、以下のプロジェクトにも興味を持たれるかもしれません。

• 中国語MacBERT: https://github.com/ymcui/MacBERT
• 中国語BERTシリーズ: https://github.com/ymcui/Chinese - BERT - wwm
• 中国語ELECTRA: https://github.com/ymcui/Chinese - ELECTRA
• 中国語XLNet: https://github.com/ymcui/Chinese - XLNet
• 知識蒸留ツールキット - TextBrewer: https://github.com/airaria/TextBrewer

HFLによるその他のリソース: https://github.com/ymcui/HFL - Anthology

🚀 クイックスタート

本READMEでは、中国少数民族言語の事前学習言語モデルCINOについて紹介しています。詳細や関連リンクを通じて、このモデルについて深く理解することができます。

📄 ライセンス

本プロジェクトはApache - 2.0ライセンスの下で提供されています。