Distilbart Mnli 12 9

🚀 DistilBart - MNLI

DistilBart - MNLIは、bart - large - MNLIの蒸留バージョンです。HuggingfaceがBARTの要約タスクに提案した教師なし蒸留技術を用いて作成されています。詳細はこちらを参照してください。このモデルは、bart - large - MNLIから交互の層をコピーし、同じデータでさらに微調整することで得られます。

✨ 主な機能

• 教師なし蒸留技術を使用し、性能の損失を最小限に抑えてモデルを蒸留します。
• さまざまな設定の蒸留モデルを提供し、必要に応じて選択できます。

📦 インストール

これらのモデルを独自にトレーニングしたい場合は、[distillbart - MNLIリポジトリ](https://github.com/patil - suraj/distillbart - mnli)をクローンし、以下の手順に従ってください。

1. ソースコードからtransformersをクローンしてインストールします。

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

2. MNLIデータをダウンロードします。

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

3. 学生モデルを作成します。

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

4. 微調整を開始します。

python run_glue.py args.json

📚 ドキュメント

モデルの性能比較

この蒸留技術は非常にシンプルで効果的で、性能の低下はわずかです。詳細な性能トレードオフ情報はこの表を参照してください。

トレーニングログ

これらのトレーニングモデルのログは、[wandbプロジェクト](https://wandb.ai/psuraj/distilbart - mnli)で見ることができます。