Xtremedistil L6 H384 Uncased

🚀 XtremeDistilTransformers：用于蒸馏大规模神经网络

XtremeDistilTransformers是一个经过蒸馏的、与任务无关的Transformer模型。它利用任务迁移来学习一个小型通用模型，该模型可以应用于任意任务和语言，相关内容在论文XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation中有详细阐述。

我们结合了论文XtremeDistil: Multi-stage Distillation for Massive Multilingual Models和MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers中的多任务蒸馏技术以及任务迁移方法，并提供了对应的Github代码。

这个l6 - h384检查点有6层，隐藏层大小为384，有12个注意力头，对应2200万个参数，相比BERT - base速度提升了5.3倍。

其他可用的检查点：xtremedistil - l6 - h256 - uncased和xtremedistil - l12 - h384 - uncased

下表展示了在GLUE开发集和SQuAD - v2上的实验结果。

测试环境为tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0

如果您在工作中使用了这个检查点，请引用以下文献：

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🚀 快速开始

XtremeDistilTransformers是一个经过蒸馏的、与任务无关的Transformer模型，它借助任务迁移学习小型通用模型，可应用于任意任务和语言。

✨ 主要特性

• 利用任务迁移和多任务蒸馏技术，学习小型通用模型。
• 有多种检查点可供选择，如l6 - h384、l6 - h256 - uncased、l12 - h384 - uncased等。
• 相比BERT - base有显著的速度提升，如l6 - h384检查点速度提升了5.3倍。
• 在GLUE开发集和SQuAD - v2上有较好的实验结果。

📚 详细文档

模型信息

这个l6 - h384检查点有6层，隐藏层大小为384，有12个注意力头，对应2200万个参数。

其他检查点

• xtremedistil - l6 - h256 - uncased
• xtremedistil - l12 - h384 - uncased

实验结果

测试环境

测试使用了tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0。

📄 许可证

本项目采用MIT许可证。