Minilm L12 H384 Uncased

🚀 MiniLM: 自然言語理解と生成のための小型で高速な事前学習モデル

MiniLMは、論文 "MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers" から派生した蒸留モデルです。 MiniLMの前処理、学習、および詳細については、オリジナルのMiniLMリポジトリ を参照してください。

⚠️ 重要提示

このチェックポイントはBERTの代替として使用できますが、使用前に微調整が必要です！

✨ 主要特性

英語の事前学習モデル

BERT-Baseサイズの社内事前学習 UniLM v2 モデルから蒸留された、隠れ層サイズが 384 の 12 層の uncased モデルを公開しています。

• MiniLMv1-L12-H384-uncased: 12層、384隠れ層、12ヘッド、33Mパラメータ、BERT-Baseより2.7倍高速

NLUタスクでの微調整

SQuAD 2.0といくつかのGLUEベンチマークタスクでの開発結果を示します。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 詳細ドキュメント

引用

MiniLMがあなたの研究に役立った場合、以下の論文を引用してください。

@misc{wang2020minilm,
    title={MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers},
    author={Wenhui Wang and Furu Wei and Li Dong and Hangbo Bao and Nan Yang and Ming Zhou},
    year={2020},
    eprint={2002.10957},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}