Cino Base V2

🚀 CINO: 中国少数民族言語用事前学習言語モデル

多言語事前学習言語モデル（mBERTやXLM - Rなど）は、言語理解における多言語およびクロスリンガル能力を提供します。近年、多言語事前学習言語モデルの構築には急速な進歩が見られます。しかし、中国少数民族言語の事前学習言語モデルの構築に関する取り組みが不足しており、研究者が強力な自然言語処理（NLP）システムを構築することを妨げています。

この中国少数民族言語の事前学習言語モデルの不足を解消するために、哈工大讯飞联合实验室（HFL）はCINO（Chinese - miNOrity pre - trained language model）を提案します。これはXLM - Rをベースに、中国少数民族コーパスを用いた追加の事前学習を行って構築されています。対象言語は以下の通りです。

• 中国語、中文（zh）
• チベット語、藏语（bo）
• モンゴル語（ウイグル文字形式）、蒙语（mn）
• ウイグル語、维吾尔语（ug）
• カザフ語（アラビア文字形式）、哈萨克语（kk）
• 韓国語、朝鲜语（ko）
• チワン語、壮语
• 広東語、粤语（yue）

詳細については、弊社のGitHubリポジトリをご覧ください（中国語）：https://github.com/ymcui/Chinese - Minority - PLM

また、以下のプロジェクトにも興味を持たれるかもしれません。 Chinese MacBERT: https://github.com/ymcui/MacBERT
Chinese BERTシリーズ: https://github.com/ymcui/Chinese - BERT - wwm
Chinese ELECTRA: https://github.com/ymcui/Chinese - ELECTRA
Chinese XLNet: https://github.com/ymcui/Chinese - XLNet
知識蒸留ツールキット - TextBrewer: https://github.com/airaria/TextBrewer

HFLによるその他のリソース: https://github.com/ymcui/HFL - Anthology

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。