Xtremedistil L6 H256 Uncased

🚀 XtremeDistilTransformers：用于蒸馏大规模神经网络

XtremeDistilTransformers 是一个经过蒸馏的与任务无关的Transformer模型，它利用任务迁移来学习一个小型通用模型，该模型可以应用于任意任务和语言，相关内容在论文 XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation 中有所阐述。

我们结合了来自论文 XtremeDistil: Multi-stage Distillation for Massive Multilingual Models 和 MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers 的多任务蒸馏技术进行任务迁移，并提供了对应的 Github代码。

这个具有 6 层、384 隐藏层大小、12 个注意力头的 l6 - h384 检查点对应着 2200 万 个参数，与 BERT - base 相比速度提升了 5.3 倍。

其他可用的检查点：xtremedistil - l6 - h384 - uncased 和 xtremedistil - l12 - h384 - uncased

以下表格展示了在 GLUE 开发集和 SQuAD - v2 上的结果。

测试环境为 tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0

如果您在工作中使用了这个检查点，请引用：

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本项目采用 MIT 许可证。