Bert Tiny Finetuned Stsb

🚀 BERT-tinyモデルをM-FACでファインチューニング

このモデルは、最先端の2次オプティマイザであるM-FACを使用して、STS-Bデータセットでファインチューニングされています。 M-FACの詳細については、NeurIPS 2021の論文を参照してください：https://arxiv.org/pdf/2107.03356.pdf。

🚀 クイックスタート

✨ 主な機能

このプロジェクトでは、BERT-tinyモデルをM-FACオプティマイザを用いてSTS-Bデータセットでファインチューニングし、その結果を共有しています。

📦 インストール

本プロジェクトでは、以下のリンクのフレームワークを使用してモデルをファインチューニングします。 https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification デフォルトのAdamオプティマイザをM-FACに置き換えるだけです。

💻 使用例

基本的な使用法

M-FACオプティマイザで使用されるハイパーパラメータは以下の通りです。

learning rate = 1e-4
number of gradients = 512
dampening = 1e-6

高度な使用法

結果を再現するには、以下のリンクのコードにM-FACオプティマイザのコードを追加し、以下のbashスクリプトを実行します。

CUDA_VISIBLE_DEVICES=0 python run_glue.py \
  --seed 7 \
  --model_name_or_path prajjwal1/bert-tiny \
  --task_name stsb \
  --do_train \
  --do_eval \
  --max_seq_length 128 \
  --per_device_train_batch_size 32 \
  --learning_rate 1e-4 \
  --num_train_epochs 5 \
  --output_dir out_dir/ \
  --optim MFAC \
  --optim_args '{"lr": 1e-4, "num_grads": 512, "damp": 1e-6}'

📚 ドキュメント

ファインチューニングの設定

デフォルトのAdamベースラインとの公平な比較のため、以下のリンクで説明されている同じフレームワークでモデルをファインチューニングし、AdamオプティマイザをM-FACに置き換えます。 https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification

結果

5回の実行の中で最良のモデルを共有し、STS-B検証セットで以下のスコアを達成しました。

pearson = 80.66
spearman = 81.13

STS-B検証セットでの5回の実行の平均と標準偏差は以下の通りです。

🔧 技術詳細

これらの結果は、ハイパーパラメータ per_device_train_batch_size、learning_rate、num_train_epochs、num_grads、damp を適度に調整することで改善される可能性があります。公平な比較と堅牢なデフォルト設定のために、すべてのモデル (bert-tiny、bert-mini) とすべてのデータセット (SQuAD version 2とGLUE) で同じハイパーパラメータを使用しています。

📄 ライセンス

@article{frantar2021m,
  title={M-FAC: Efficient Matrix-Free Approximations of Second-Order Information},
  author={Frantar, Elias and Kurtic, Eldar and Alistarh, Dan},
  journal={Advances in Neural Information Processing Systems},
  volume={35},
  year={2021}
}