Bert Base Uncased Sst2 From Bert Large Uncased Sst2

🚀 BERT-base-uncased微調模型

本項目是在SST-2數據集上對bert-base-uncased進行微調的成果。使用微調後的bert-large-uncased作為教師模型，並藉助torchdistill和Google Colab進行知識蒸餾。

🚀 快速開始

bert-base-uncased在SST-2數據集上進行了微調，以微調後的bert-large-uncased為教師模型，利用torchdistill和Google Colab完成知識蒸餾。訓練配置（包括超參數）可在此處獲取。

我已將預測文件提交至GLUE排行榜，整體GLUE得分為78.9。

📚 詳細文檔

Yoshitomo Matsubara在 EMNLP 2023 Workshop for Natural Language Processing Open Source Software (NLP-OSS) 上發表了題為**"torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP"** 的文章。

• [論文]
• [OpenReview]
• [預印本]

@inproceedings{matsubara2023torchdistill,
  title={{torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP}},
  author={Matsubara, Yoshitomo},
  booktitle={Proceedings of the 3rd Workshop for Natural Language Processing Open Source Software (NLP-OSS 2023)},
  publisher={Empirical Methods in Natural Language Processing},
  pages={153--164},
  year={2023}
}

📄 許可證

本項目採用Apache-2.0許可證。