BERT Of Theseus MNLI

🚀 BERT-of-Theseus

BERT-of-Theseusは、元のBERTのコンポーネントを段階的に置き換えることで新たに圧縮されたBERTです。本プロジェクトに関する詳細は、論文 "BERT-of-Theseus: Compressing BERT by Progressive Module Replacing" をご覧ください。

🚀 クイックスタート

MNLIでの事前学習モデルの読み込み

MNLIで事前学習された6層の汎用モデルを提供しています。このモデルは他の文分類タスクに転移学習することができ、GLUEの6つのタスク（開発セット）でDistillBERT（同じ6層構造）を上回る性能を発揮します。

⚠️ 重要提示 このチェックポイントは Intermediate-Task Transfer Learning 用であり、MNLIの分類ヘッドは含まれていません！DistilBERTと同様に、使用前にファインチューニングしてください。