Deberta Base

🚀 DeBERTa：解釈可能な注意力を持つデコード強化型BERT

DeBERTaは、解釈可能な注意力機構と強化されたマスクデコーダを用いて、BERTやRoBERTaモデルを改良したモデルです。80GBの訓練データを使用し、ほとんどの自然言語理解（NLU）タスクでBERTやRoBERTaよりも優れた性能を発揮します。

詳細情報や更新内容については、公式リポジトリをご覧ください。

🚀 クイックスタート

🔍 NLUタスクでのファインチューニング

SQuAD 1.1/2.0およびMNLIタスクでの開発結果を示します。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

📚 引用

もしDeBERTaがあなたの研究に役立った場合、以下の論文を引用してください。

@inproceedings{
he2021deberta,
title={DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION},
author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=XPZIaotutsD}
}