Distilbart Mnli 12 1

🚀 DistilBart-MNLI

distilbart-mnliは、HuggingfaceによってBART要約のために提案された教師なし蒸留（No Teacher Distillation） 技術を使用して作成された、bart-large-mnliの蒸留バージョンです。詳細はこちらを参照してください。

私たちは、bart-large-mnli から交互のレイヤーをコピーし、同じデータでさらに微調整を行っています。

これは非常にシンプルで効果的な手法であり、性能の低下はごくわずかであることがわかります。

詳細な性能のトレードオフについては、このスプレッドシートに掲載されます。

🚀 クイックスタート

微調整

これらのモデルを自分で学習させたい場合は、distillbart-mnliリポジトリをクローンし、以下の手順に従ってください。

ソースからtransformersをクローンしてインストール

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

MNLIデータをダウンロード

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

学生モデルを作成

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

微調整を開始

python run_glue.py args.json

これらの学習済みモデルのログは、このwandbプロジェクトで確認できます。