Xtremedistil L12 H384 Uncased

🚀 XtremeDistilTransformers：用於蒸餾大規模神經網絡

XtremeDistilTransformers是一種經過蒸餾處理的、與任務無關的Transformer模型。它藉助任務遷移的方法，學習一個小型通用模型，該模型可應用於任意任務和語言，相關內容在論文XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation中有詳細闡述。

我們結合了來自論文XtremeDistil: Multi-stage Distillation for Massive Multilingual Models和MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers的多任務蒸餾技術，利用任務遷移方法，並提供了對應的Github代碼。

這個具有6層、384隱藏層維度、12個注意力頭的l6 - h384檢查點對應著2200萬個參數，與BERT - base相比，速度提升了5.3倍。

其他可用的檢查點：xtremedistil - l6 - h256 - uncased和xtremedistil - l6 - h384 - uncased

下表展示了在GLUE開發集和SQuAD - v2上的實驗結果。

測試環境為tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0

如果您在工作中使用了這個檢查點，請引用以下文獻：

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本項目採用MIT許可證。