Xtremedistil L6 H256 Uncased

🚀 XtremeDistilTransformers：用於蒸餾大規模神經網絡

XtremeDistilTransformers 是一個經過蒸餾的與任務無關的Transformer模型，它利用任務遷移來學習一個小型通用模型，該模型可以應用於任意任務和語言，相關內容在論文 XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation 中有所闡述。

我們結合了來自論文 XtremeDistil: Multi-stage Distillation for Massive Multilingual Models 和 MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers 的多任務蒸餾技術進行任務遷移，並提供了對應的 Github代碼。

這個具有 6 層、384 隱藏層大小、12 個注意力頭的 l6 - h384 檢查點對應著 2200 萬 個參數，與 BERT - base 相比速度提升了 5.3 倍。

其他可用的檢查點：xtremedistil - l6 - h384 - uncased 和 xtremedistil - l12 - h384 - uncased

以下表格展示了在 GLUE 開發集和 SQuAD - v2 上的結果。

測試環境為 tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0

如果您在工作中使用了這個檢查點，請引用：

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本項目採用 MIT 許可證。