Xtremedistil L6 H384 Uncased

🚀 XtremeDistilTransformers：用於蒸餾大規模神經網絡

XtremeDistilTransformers是一個經過蒸餾的、與任務無關的Transformer模型。它利用任務遷移來學習一個小型通用模型，該模型可以應用於任意任務和語言，相關內容在論文XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation中有詳細闡述。

我們結合了論文XtremeDistil: Multi-stage Distillation for Massive Multilingual Models和MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers中的多任務蒸餾技術以及任務遷移方法，並提供了對應的Github代碼。

這個l6 - h384檢查點有6層，隱藏層大小為384，有12個注意力頭，對應2200萬個參數，相比BERT - base速度提升了5.3倍。

其他可用的檢查點：xtremedistil - l6 - h256 - uncased和xtremedistil - l12 - h384 - uncased

下表展示了在GLUE開發集和SQuAD - v2上的實驗結果。

測試環境為tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0

如果您在工作中使用了這個檢查點，請引用以下文獻：

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🚀 快速開始

XtremeDistilTransformers是一個經過蒸餾的、與任務無關的Transformer模型，它藉助任務遷移學習小型通用模型，可應用於任意任務和語言。

✨ 主要特性

• 利用任務遷移和多任務蒸餾技術，學習小型通用模型。
• 有多種檢查點可供選擇，如l6 - h384、l6 - h256 - uncased、l12 - h384 - uncased等。
• 相比BERT - base有顯著的速度提升，如l6 - h384檢查點速度提升了5.3倍。
• 在GLUE開發集和SQuAD - v2上有較好的實驗結果。

📚 詳細文檔

模型信息

這個l6 - h384檢查點有6層，隱藏層大小為384，有12個注意力頭，對應2200萬個參數。

其他檢查點

• xtremedistil - l6 - h256 - uncased
• xtremedistil - l12 - h384 - uncased

實驗結果

測試環境

測試使用了tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0。

📄 許可證

本項目採用MIT許可證。