Bert Small Mnli

🚀 BERT預訓練模型

本模型是一個Pytorch預訓練模型，由從Google BERT官方倉庫獲取的Tensorflow檢查點轉換而來。這些BERT變體在論文《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》中被提出。這些模型在MNLI數據集上進行了訓練。

📚 詳細文檔

引用信息

如果您使用了該模型，請考慮引用以下論文：

@misc{bhargava2021generalization,
      title={Generalization in NLI: Ways (Not) To Go Beyond Simple Heuristics}, 
      author={Prajjwal Bhargava and Aleksandr Drozd and Anna Rogers},
      year={2021},
      eprint={2110.01518},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

原始實現與更多信息

原始實現和更多信息可在此GitHub倉庫中找到。

模型性能

MNLI: 72.1%
MNLI-mm: 73.76%

訓練輪數

這些模型經過了4個輪次的訓練。

作者信息

@prajjwal_1