Distilbart Mnli 12 6

🚀 DistilBart-MNLI

DistilBart-MNLI 是 bart-large-mnli 的蒸餾版本，它採用了 Huggingface 為 BART 摘要任務提出的無教師蒸餾技術創建，詳情見此處。我們只是從 bart-large-mnli 中複製交替層，並在相同數據上進行更多微調。

✨ 主要特性

• 基於無教師蒸餾技術，在性能損失極小的情況下實現模型蒸餾。
• 提供了不同配置的蒸餾模型，可根據需求選擇。

📦 安裝指南

如果你想自己訓練這些模型，請克隆 distillbart-mnli 倉庫，並按照以下步驟操作：

1. 從源代碼克隆並安裝 transformers：

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

2. 下載 MNLI 數據：

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

3. 創建學生模型：

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

4. 開始微調：

python run_glue.py args.json

📚 詳細文檔

模型性能對比

可以看出，這是一種非常簡單有效的技術，性能下降非常小。詳細的性能權衡將發佈在這個表格中。

訓練日誌

你可以在這個 wandb 項目中找到這些訓練模型的日誌。