Deberta Base

🚀 DeBERTa: ディスエンタングルド・アテンションを備えたデコーディング強化型BERT

DeBERTa は、ディスエンタングルド・アテンションと強化型マスク・デコーダを用いて、BERTとRoBERTaモデルを改善します。80GBの学習データを用いて、大多数のNLUタスクでBERTやRoBERTaを上回る性能を発揮します。

詳細と更新情報については、公式リポジトリ をご確認ください。

🚀 クイックスタート

NLUタスクでのファインチューニング

SQuAD 1.1/2.0およびMNLIタスクでの開発結果を提示します。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 ドキュメント

引用

もしあなたの研究や開発にDeBERTaが役立った場合、以下の論文を引用してください。

@inproceedings{
he2021deberta,
title={DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION},
author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=XPZIaotutsD}
}