Xtremedistil L6 H384 Uncased

🚀 XtremeDistilTransformers：大規模ニューラルネットワークの蒸留モデル

XtremeDistilTransformersは、蒸留されたタスク非依存型のTransformerモデルです。タスク移行を利用して小型の汎用モデルを学習し、任意のタスクや言語に適用できます。詳細は論文XtremeDistilTransformers: Task Transfer for Task-agnostic Distillationに記載されています。

我々は論文XtremeDistil: Multi-stage Distillation for Massive Multilingual ModelsとMiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformersのマルチタスク蒸留技術とタスク移行方法を組み合わせ、対応するGithubコードを提供しています。

このl6 - h384チェックポイントは6層で、隠れ層のサイズが384、12個の注意力ヘッドを持ち、2200万個のパラメータがあり、BERT - baseと比べて5.3倍の速度向上が見られます。

他に利用可能なチェックポイント：xtremedistil - l6 - h256 - uncasedとxtremedistil - l12 - h384 - uncased

下表はGLUE開発セットとSQuAD - v2での実験結果を示しています。

テスト環境はtensorflow 2.3.1, transformers 4.1.1, torch 1.6.0です。

もしあなたがこのチェックポイントを仕事で使用した場合、以下の文献を引用してください。

@misc{mukherjee2021xtremedistiltransformers,
      title={XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation}, 
      author={Subhabrata Mukherjee and Ahmed Hassan Awadallah and Jianfeng Gao},
      year={2021},
      eprint={2106.04563},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🚀 クイックスタート

XtremeDistilTransformersは、蒸留されたタスク非依存型のTransformerモデルで、タスク移行を通じて小型の汎用モデルを学習し、任意のタスクや言語に適用できます。

✨ 主な機能

• タスク移行とマルチタスク蒸留技術を利用して小型の汎用モデルを学習します。
• l6 - h384、l6 - h256 - uncased、l12 - h384 - uncasedなど、複数のチェックポイントから選択できます。
• BERT - baseと比べて大幅な速度向上が見られ、l6 - h384チェックポイントでは5.3倍の速度向上があります。
• GLUE開発セットとSQuAD - v2で良好な実験結果を得ています。

📚 ドキュメント

モデル情報

このl6 - h384チェックポイントは6層で、隠れ層のサイズが384、12個の注意力ヘッドを持ち、2200万個のパラメータがあります。

その他のチェックポイント

• xtremedistil - l6 - h256 - uncased
• xtremedistil - l12 - h384 - uncased

実験結果

テスト環境

テストにはtensorflow 2.3.1, transformers 4.1.1, torch 1.6.0を使用しました。

📄 ライセンス

本プロジェクトはMITライセンスを採用しています。