Cino Large

🚀 CINO: 中国少数民族言語用事前学習言語モデル

CINOは、中国の少数民族言語に特化した事前学習言語モデルです。既存の多言語事前学習モデルでは中国少数民族言語に対する支援が不足していましたが、CINOはその問題を解決し、強力なNLPシステムの構築を可能にします。

🚀 クイックスタート

多言語事前学習言語モデル（mBERTやXLM - Rなど）は、言語理解における多言語およびクロス言語能力を提供します。近年、多言語事前学習言語モデルの構築には目覚ましい進歩が見られます。しかし、中国の少数民族言語に関する事前学習言語モデルの構築には貢献が不足しており、研究者が強力なNLPシステムを構築することを妨げています。

この問題を解決するために、HITとiFLYTEK Researchの共同研究室（HFL）がCINO（Chinese - miNOrity pre - trained language model）を提案しました。CINOはXLM - Rをベースに、中国の少数民族コーパスを用いた追加の事前学習を行って構築されています。対象言語は以下の通りです。

• 中国語（zh）
• チベット語（bo）
• モンゴル語（mn）
• ウイグル語（ug）
• カザフ語（kk）
• 朝鮮語（ko）
• チワン語
• 広東語（yue）

詳細については、GitHubリポジトリをご覧ください（中国語）：https://github.com/ymcui/Chinese-Minority-PLM

また、以下の関連リソースもご興味いただけるかもしれません。

• Chinese MacBERT: https://github.com/ymcui/MacBERT
• Chinese BERT series: https://github.com/ymcui/Chinese-BERT-wwm
• Chinese ELECTRA: https://github.com/ymcui/Chinese-ELECTRA
• Chinese XLNet: https://github.com/ymcui/Chinese-XLNet
• 知識蒸留ツールキット - TextBrewer: https://github.com/airaria/TextBrewer
• HFLによるその他のリソース: https://github.com/ymcui/HFL-Anthology

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。