Rbt4 H312

🚀 中文小預訓練模型 MiniRBT

本項目推出的中文小預訓練模型 MiniRBT，旨在進一步推動中文信息處理的研發。該模型基於自研的知識蒸餾工具 TextBrewer，結合全詞掩碼（Whole Word Masking）技術和知識蒸餾（Knowledge Distillation）技術構建而成。

🚀 快速開始

請使用與 'Bert' 相關的函數來加載此模型！

✨ 主要特性

• 基於自研知識蒸餾工具 TextBrewer 開發。
• 結合了全詞掩碼技術和知識蒸餾技術。

📚 詳細文檔

本倉庫基於 https://github.com/iflytek/MiniRBT 開發。

你可能還對以下項目感興趣：

• 中文 LERT：https://github.com/ymcui/LERT
• 中文 PERT：https://github.com/ymcui/PERT
• 中文 MacBERT：https://github.com/ymcui/MacBERT
• 中文 ELECTRA：https://github.com/ymcui/Chinese-ELECTRA
• 中文 XLNet：https://github.com/ymcui/Chinese-XLNet
• 知識蒸餾工具包 - TextBrewer：https://github.com/airaria/TextBrewer

更多由 HFL 提供的資源：https://github.com/iflytek/HFL-Anthology

📄 許可證

本項目採用 Apache-2.0 許可證。