Bert Medium Mnli

🚀 BERT預訓練模型

本模型是從 Google官方BERT倉庫 中的Tensorflow檢查點轉換而來的Pytorch預訓練模型。這些BERT變體在論文 《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》 中被提出。這些模型在MNLI數據集上進行訓練。

🚀 快速開始

本模型是基於Google官方倉庫中的Tensorflow檢查點轉換得到的Pytorch預訓練模型，在MNLI數據集上進行了訓練。

📚 詳細文檔

引用信息

如果您使用此模型，請考慮引用以下論文：

@misc{bhargava2021generalization,
      title={Generalization in NLI: Ways (Not) To Go Beyond Simple Heuristics}, 
      author={Prajjwal Bhargava and Aleksandr Drozd and Anna Rogers},
      year={2021},
      eprint={2110.01518},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

原始實現與更多信息

原始實現和更多信息可在 此GitHub倉庫 中找到。

模型性能

MNLI: 75.86%
MNLI-mm: 77.03%

訓練輪數

這些模型經過了4個訓練輪次的訓練。

作者信息

@prajjwal_1