Distilbart Mnli 12 3

🚀 DistilBart-MNLI

DistilBart-MNLIは、HuggingfaceによってBART要約に提案された教師なし蒸留（No Teacher Distillation） 技術を使用して作成された、bart-large-mnliの蒸留バージョンです。詳細はこちらを参照してください。

このモデルは、bart-large-mnli から交互にレイヤーをコピーし、同じデータでさらに微調整しています。

これは非常にシンプルで効果的な手法であり、性能の低下は非常に少ないことがわかります。

詳細な性能のトレードオフについては、このスプレッドシートに記載されています。

🔧 技術詳細

このモデルは、bart-large-mnli の交互のレイヤーをコピーし、同じデータでさらに微調整することで作成されました。この手法により、性能の低下を最小限に抑えながらモデルを軽量化することができます。

📦 インストール

もしあなたがこれらのモデルを自分で学習させたい場合は、distillbart-mnliリポジトリをクローンし、以下の手順に従ってください。

ソースからtransformersをクローンしてインストール

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

MNLIデータをダウンロード

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

学生モデルを作成

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

微調整を開始

python run_glue.py args.json

これらの学習済みモデルのログは、このwandbプロジェクトで確認できます。