Bert Medium Mnli

🚀 BERT事前学習モデル

このモデルは、Google公式BERTリポジトリ のTensorflowチェックポイントから変換されたPytorch事前学習モデルです。これらのBERTバリエーションは論文 《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》 で提案されています。これらのモデルはMNLIデータセットで訓練されています。

🚀 クイックスタート

このモデルは、Google公式リポジトリのTensorflowチェックポイントから変換されたPytorch事前学習モデルで、MNLIデータセットで訓練されています。

📚 ドキュメント

引用情報

このモデルを使用する場合は、以下の論文を引用することを検討してください。

@misc{bhargava2021generalization,
      title={Generalization in NLI: Ways (Not) To Go Beyond Simple Heuristics}, 
      author={Prajjwal Bhargava and Aleksandr Drozd and Anna Rogers},
      year={2021},
      eprint={2110.01518},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

オリジナルの実装と詳細情報

オリジナルの実装と詳細情報は このGitHubリポジトリ で確認できます。

モデルの性能

MNLI: 75.86%
MNLI-mm: 77.03%

訓練エポック数

これらのモデルは4エポックの訓練を行っています。

作者情報

@prajjwal_1