Distilbart Mnli 12 1

🚀 DistilBart-MNLI

DistilBart-MNLI是bart-large-mnli的蒸餾版本，它採用了Huggingface為BART摘要任務提出的無教師蒸餾技術創建而成，相關內容可查看此處。該技術僅僅是從bart-large-mnli中交替複製層，並在相同數據上進行更多微調。

✨ 主要特性

• 性能損失小：通過簡單有效的蒸餾技術，在性能上的下降非常小。

📦 安裝指南

如果你想自己訓練這些模型，請克隆distillbart-mnli倉庫，並按照以下步驟操作：

克隆並從源代碼安裝transformers

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

下載MNLI數據

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

創建學生模型

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

開始微調

python run_glue.py args.json

📚 詳細文檔

模型性能對比

從表格中可以看出，DistilBart-MNLI系列模型在性能上與基線模型bart-large-mnli相比，下降幅度較小，證明了無教師蒸餾技術的有效性。

性能權衡詳情

詳細的性能權衡信息將發佈在這個表格中。

訓練日誌

你可以在這個wandb項目中找到這些訓練模型的日誌。