Minirbt H288

🚀 中国語小規模事前学習モデル MiniRBT

このモデルは、中国語情報処理の研究開発を促進するために、独自開発の知識蒸留ツール TextBrewer をベースに、Whole Word Masking 技術と知識蒸留技術を組み合わせて開発された中国語小規模事前学習モデルです。

🚀 クイックスタート

このモデルを読み込むには、'Bert' 関連の機能を使用してください！

このリポジトリは、以下のリポジトリをベースに開発されています：https://github.com/iflytek/MiniRBT

また、以下の関連リポジトリもご興味いただけるかもしれません。

• 中国語 LERT: https://github.com/ymcui/LERT
• 中国語 PERT: https://github.com/ymcui/PERT
• 中国語 MacBERT: https://github.com/ymcui/MacBERT
• 中国語 ELECTRA: https://github.com/ymcui/Chinese-ELECTRA
• 中国語 XLNet: https://github.com/ymcui/Chinese-XLNet
• 知識蒸留ツールキット - TextBrewer: https://github.com/airaria/TextBrewer

HFLによるその他のリソース: https://github.com/iflytek/HFL-Anthology

📄 ライセンス

このプロジェクトは、Apache-2.0 ライセンスの下で公開されています。