Xtremedistil L6 H256 Uncased

🚀 XtremeDistilTransformers：大規模ニューラルネットワークの蒸留に特化したモデル

XtremeDistilTransformersは、蒸留されたタスク非依存型のTransformerモデルです。タスク移行を利用して小型の汎用モデルを学習し、任意のタスクや言語に適用できます。詳細は論文 XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation で説明されています。

我々は、論文 XtremeDistil: Multi-stage Distillation for Massive Multilingual Models と MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers の多タスク蒸留技術を組み合わせてタスク移行を行い、対応する Githubコード を提供しています。

この 6 層、384 の隠れ層サイズ、12 個の注意力ヘッドを持つ l6 - h384 チェックポイントは、2200万 個のパラメータを持ち、BERT - base と比較して 5.3倍 の速度向上を実現しています。

他の利用可能なチェックポイント: xtremedistil - l6 - h384 - uncased と xtremedistil - l12 - h384 - uncased

以下の表は、GLUE開発セットとSQuAD - v2での結果を示しています。

テスト環境は tensorflow 2.3.1, transformers 4.1.1, torch 1.6.0 です。

もしあなたがこのチェックポイントを研究で使用した場合は、以下を引用してください。

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。