Cino Small V2

🚀 CINO: 中国少数民族言語の事前学習言語モデル

多言語事前学習言語モデル（mBERTやXLM - Rなど）は、言語理解における多言語およびクロス言語能力を提供します。近年、多言語事前学習言語モデルの構築には急速な進歩が見られます。しかし、中国少数民族言語の事前学習言語モデルの構築に関する貢献が不足しており、研究者が強力な自然言語処理（NLP）システムを構築する妨げとなっています。

この中国少数民族事前学習言語モデルの不足を解消するために、ハルビン工業大学と科大訊飛の共同研究室（HFL）はCINO（Chinese - miNOrity pre - trained language model）を提案しました。CINOは、XLM - Rをベースに、中国少数民族コーパスを用いた追加の事前学習を行って構築されています。対象言語は以下の通りです。

• 中国語、中文（zh）
• チベット語、藏語（bo）
• モンゴル語（ウイグル文字表記）、蒙語（mn）
• ウイグル語、维吾尔語（ug）
• カザフ語（アラビア文字表記）、哈萨克語（kk）
• 韓国語、朝鮮語（ko）
• チワン語、壮語
• 広東語、粵語（yue）

詳細については、GitHubリポジトリ（中国語）をご覧ください。https://github.com/ymcui/Chinese - Minority - PLM

また、以下のリンクも興味深いかもしれません。 Chinese MacBERT: https://github.com/ymcui/MacBERT
Chinese BERTシリーズ: https://github.com/ymcui/Chinese - BERT - wwm
Chinese ELECTRA: https://github.com/ymcui/Chinese - ELECTRA
Chinese XLNet: https://github.com/ymcui/Chinese - XLNet
知識蒸留ツールキット - TextBrewer: https://github.com/airaria/TextBrewer

HFLによるその他のリソース: https://github.com/ymcui/HFL - Anthology

🚀 クイックスタート

多言語事前学習言語モデルの重要性と中国少数民族言語の事前学習言語モデルの不足について説明し、CINOの提案背景と対象言語を紹介しました。詳細は上記のGitHubリンクを参照してください。

✨ 主な機能

• 中国少数民族言語に特化した事前学習を行い、中国少数民族言語のNLPタスクに適したモデルを提供します。
• XLM - Rをベースに構築されており、多言語およびクロス言語能力を備えています。

📄 ライセンス

本モデルはApache - 2.0ライセンスの下で提供されています。