Xtremedistil L12 H384 Uncased

🚀 XtremeDistilTransformers for Distilling Massive Neural Networks

XtremeDistilTransformersは、論文 XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation で概説されているように、タスク転送を活用して、任意のタスクや言語に適用できる小さな汎用モデルを学習する、蒸留されたタスク非依存型トランスフォーマーモデルです。

我々は、論文 XtremeDistil: Multi-stage Distillation for Massive Multilingual Models と MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers のマルチタスク蒸留技術とタスク転送を組み合わせ、以下の Githubコード を使用しています。

このl6-h384チェックポイントは、6 層、384 の隠れ層サイズ、12 のアテンションヘッドを持ち、2200万 のパラメータに相当し、BERT-baseよりも 5.3倍 高速です。

他の利用可能なチェックポイント: xtremedistil-l6-h256-uncased と xtremedistil-l6-h384-uncased

次の表は、GLUE開発セットとSQuAD-v2での結果を示しています。

tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0 でテスト済みです。

もしあなたの研究でこのチェックポイントを使用する場合は、以下を引用してください。

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。