Minirbt H256

🚀 中国語小型事前学習モデル MiniRBT

このモデルは中国語情報処理の研究開発を促進するために、独自開発の知識蒸留ツールTextBrewerをベースに、Whole Word Masking技術と知識蒸留技術を組み合わせて開発された中国語小型事前学習モデルです。

🚀 クイックスタート

このモデルをロードするには、'Bert'関連の機能を使用してください！

📚 ドキュメント

このリポジトリは以下のリポジトリをベースに開発されています：https://github.com/iflytek/MiniRBT

また、以下の関連リポジトリも参考になるかもしれません。

• 中国語LERT: https://github.com/ymcui/LERT
• 中国語PERT: https://github.com/ymcui/PERT
• 中国語MacBERT: https://github.com/ymcui/MacBERT
• 中国語ELECTRA: https://github.com/ymcui/Chinese-ELECTRA
• 中国語XLNet: https://github.com/ymcui/Chinese-XLNet
• 知識蒸留ツールキット - TextBrewer: https://github.com/airaria/TextBrewer

HFLによるその他のリソース: https://github.com/iflytek/HFL-Anthology

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。