Rbt4 H312

🚀 中国語小規模事前学習モデル MiniRBT

中国語情報処理の研究開発をさらに促進するため、独自開発の知識蒸留ツールTextBrewerをベースに、Whole Word Masking技術と知識蒸留技術を組み合わせた中国語小規模事前学習モデルMiniRBTを公開します。

🚀 クイックスタート

このモデルを読み込むには、'Bert'関連の機能を使用してください！

このリポジトリは、以下のリポジトリをベースに開発されています：https://github.com/iflytek/MiniRBT

また、以下のプロジェクトも興味深いかもしれません。

• 中国語LERT: https://github.com/ymcui/LERT
• 中国語PERT: https://github.com/ymcui/PERT
• 中国語MacBERT: https://github.com/ymcui/MacBERT
• 中国語ELECTRA: https://github.com/ymcui/Chinese-ELECTRA
• 中国語XLNet: https://github.com/ymcui/Chinese-XLNet
• 知識蒸留ツールキット - TextBrewer: https://github.com/airaria/TextBrewer

HFLによるその他のリソース: https://github.com/iflytek/HFL-Anthology

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。