Distilbart Mnli 12 9

🚀 DistilBart - MNLI

DistilBart - MNLI 是 bart - large - MNLI 的蒸餾版本，它採用了 Huggingface 為 BART 摘要任務提出的無教師蒸餾技術創建而成，相關內容可查看此處。該模型通過從 bart - large - MNLI 中複製交替層，並在相同數據上進行更多微調得到。

✨ 主要特性

• 運用無教師蒸餾技術，在性能損失極小的情況下實現模型蒸餾。
• 提供了不同配置的蒸餾模型，可根據需求選擇。

📦 安裝指南

若你想自行訓練這些模型，可克隆 [distillbart - MNLI 倉庫](https://github.com/patil - suraj/distillbart - mnli)，並按以下步驟操作：

1. 從源碼克隆並安裝 transformers：

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

2. 下載 MNLI 數據：

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

3. 創建學生模型：

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

4. 開始微調：

python run_glue.py args.json

📚 詳細文檔

模型性能對比

可以看出，這種蒸餾技術非常簡單有效，性能下降幅度很小。詳細的性能權衡信息可查看此表格。

訓練日誌

你可以在 [wandb 項目](https://wandb.ai/psuraj/distilbart - mnli) 中找到這些訓練模型的日誌。