Deberta Base Mnli

🚀 DeBERTa: Decoding-enhanced BERT with Disentangled Attention

DeBERTaは、分離型注意機構と強化されたマスクデコーダを用いて、BERTとRoBERTaモデルを改善したものです。80GBの学習データを用いて、多数の自然言語理解（NLU）タスクでBERTやRoBERTaを上回る性能を発揮します。

詳細と更新情報については、公式リポジトリをご確認ください。

このモデルは、MNLIタスクでファインチューニングされた基本的なDeBERTaモデルです。

✨ 主な機能

• DeBERTaは、分離型注意機構と強化されたマスクデコーダを用いて、BERTとRoBERTaモデルを改善します。
• 多数のNLUタスクで、BERTやRoBERTaを上回る性能を発揮します。

📚 ドキュメント

NLUタスクでのファインチューニング

SQuAD 1.1/2.0およびMNLIタスクにおける開発結果を提示します。

引用

もしあなたの研究にDeBERTaが役立った場合、以下の論文を引用してください。

@inproceedings{
he2021deberta,
title={DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION},
author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=XPZIaotutsD}
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。