Distilbart Mnli 12 1

🚀 DistilBart-MNLI

DistilBart-MNLI是bart-large-mnli的蒸馏版本，它采用了Huggingface为BART摘要任务提出的无教师蒸馏技术创建而成，相关内容可查看此处。该技术仅仅是从bart-large-mnli中交替复制层，并在相同数据上进行更多微调。

✨ 主要特性

• 性能损失小：通过简单有效的蒸馏技术，在性能上的下降非常小。

📦 安装指南

如果你想自己训练这些模型，请克隆distillbart-mnli仓库，并按照以下步骤操作：

克隆并从源代码安装transformers

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

下载MNLI数据

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

创建学生模型

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

开始微调

python run_glue.py args.json

📚 详细文档

模型性能对比

从表格中可以看出，DistilBart-MNLI系列模型在性能上与基线模型bart-large-mnli相比，下降幅度较小，证明了无教师蒸馏技术的有效性。

性能权衡详情

详细的性能权衡信息将发布在这个表格中。

训练日志

你可以在这个wandb项目中找到这些训练模型的日志。