Distilbart Mnli 12 9

🚀 DistilBart - MNLI

DistilBart - MNLI 是 bart - large - MNLI 的蒸馏版本，它采用了 Huggingface 为 BART 摘要任务提出的无教师蒸馏技术创建而成，相关内容可查看此处。该模型通过从 bart - large - MNLI 中复制交替层，并在相同数据上进行更多微调得到。

✨ 主要特性

• 运用无教师蒸馏技术，在性能损失极小的情况下实现模型蒸馏。
• 提供了不同配置的蒸馏模型，可根据需求选择。

📦 安装指南

若你想自行训练这些模型，可克隆 [distillbart - MNLI 仓库](https://github.com/patil - suraj/distillbart - mnli)，并按以下步骤操作：

1. 从源码克隆并安装 transformers：

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

2. 下载 MNLI 数据：

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

3. 创建学生模型：

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

4. 开始微调：

python run_glue.py args.json

📚 详细文档

模型性能对比

可以看出，这种蒸馏技术非常简单有效，性能下降幅度很小。详细的性能权衡信息可查看此表格。

训练日志

你可以在 [wandb 项目](https://wandb.ai/psuraj/distilbart - mnli) 中找到这些训练模型的日志。