Bert Base Uncased Sst2 From Bert Large Uncased Sst2

🚀 bert-base-uncased (SST-2 微調整済み)

このモデルは、SST-2データセットで微調整された bert-base-uncased です。教師モデルとして微調整済みの bert-large-uncased を使用し、torchdistill と Google Colab を用いて知識蒸留を行っています。

🚀 クイックスタート

bert-base-uncased はSST-2データセットで微調整されており、教師モデルとして微調整済みの bert-large-uncased を使用しています。知識蒸留には torchdistill と Google Colab を利用しています。

トレーニングの設定（ハイパーパラメータを含む）は こちら で確認できます。

予測ファイルを GLUEリーダーボード に提出したところ、全体のGLUEスコアは 78.9 でした。

✨ 主な機能

• タグ: bert、sst2、glue、kd、torchdistill
• データセット: sst2
• 評価指標: accuracy

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。

📚 ドキュメント

Yoshitomo Matsubara氏による論文 "torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP" が EMNLP 2023 Workshop for Natural Language Processing Open Source Software (NLP-OSS) で発表されました。

[論文] [OpenReview] [プレプリント]

@inproceedings{matsubara2023torchdistill,
  title={{torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP}},
  author={Matsubara, Yoshitomo},
  booktitle={Proceedings of the 3rd Workshop for Natural Language Processing Open Source Software (NLP-OSS 2023)},
  publisher={Empirical Methods in Natural Language Processing},
  pages={153--164},
  year={2023}
}