Distilbart Mnli 12 6

🚀 DistilBart-MNLI

DistilBart-MNLI は bart-large-mnli の蒸留バージョンです。これは Huggingface が BART 要約タスクに対して提案した教師なし蒸留技術を用いて作成されています。詳細はこちらを参照してください。私たちは単に bart-large-mnli から交互の層をコピーし、同じデータでさらに微調整を行っています。

✨ 主な機能

• 教師なし蒸留技術に基づき、性能の損失を最小限に抑えてモデルの蒸留を実現します。
• 異なる設定の蒸留モデルを提供しており、必要に応じて選択できます。

📦 インストール

これらのモデルを自分で訓練したい場合は、distillbart-mnli リポジトリをクローンし、以下の手順に従ってください。

1. ソースコードから transformers をクローンしてインストールします。

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

2. MNLI データをダウンロードします。

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

3. 学生モデルを作成します。

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

4. 微調整を開始します。

python run_glue.py args.json

📚 ドキュメント

モデル性能の比較

これは非常にシンプルで効果的な技術であり、性能の低下は非常に少ないことがわかります。詳細な性能トレードオフはこの表に掲載されます。

訓練ログ

これらの訓練モデルのログは、この wandb プロジェクトで見ることができます。