🚀 DeBERTa:具有解耦注意力的解碼增強型BERT
DeBERTa通過解耦注意力和增強掩碼解碼器改進了BERT和RoBERTa模型。它使用80GB訓練數據,在大多數自然語言理解(NLU)任務上的表現優於BERT和RoBERTa。如需更多詳細信息和更新,請查看官方倉庫。此為針對MNLI任務進行微調的DeBERTa大模型。
🚀 快速開始
本部分提供了DeBERTa模型的基本信息和使用指導,幫助你快速瞭解和使用該模型。
✨ 主要特性
- 模型改進:DeBERTa使用解耦注意力和增強掩碼解碼器對BERT和RoBERTa模型進行了改進。
- 性能優越:在大多數NLU任務上,使用80GB訓練數據的DeBERTa表現優於BERT和RoBERTa。
- 多任務微調:提供了在多個NLU任務(如SQuAD 1.1/2.0和GLUE基準任務)上的微調結果。
📚 詳細文檔
🔍 NLU任務微調
我們展示了DeBERTa模型在SQuAD 1.1/2.0和多個GLUE基準任務上的開發結果。以下是不同模型在各任務上的性能對比:
模型 |
SQuAD 1.1 |
SQuAD 2.0 |
MNLI-m/mm |
SST-2 |
QNLI |
CoLA |
RTE |
MRPC |
QQP |
STS-B |
|
F1/EM |
F1/EM |
Acc |
Acc |
Acc |
MCC |
Acc |
Acc/F1 |
Acc/F1 |
P/S |
BERT-Large |
90.9/84.1 |
81.8/79.0 |
86.6/- |
93.2 |
92.3 |
60.6 |
70.4 |
88.0/- |
91.3/- |
90.0/- |
RoBERTa-Large |
94.6/88.9 |
89.4/86.5 |
90.2/- |
96.4 |
93.9 |
68.0 |
86.6 |
90.9/- |
92.2/- |
92.4/- |
XLNet-Large |
95.1/89.7 |
90.6/87.9 |
90.8/- |
97.0 |
94.9 |
69.0 |
85.9 |
90.8/- |
92.3/- |
92.5/- |
DeBERTa-Large1 |
95.5/90.1 |
90.7/88.0 |
91.3/91.1 |
96.5 |
95.3 |
69.5 |
91.0 |
92.6/94.6 |
92.3/- |
92.8/92.5 |
DeBERTa-XLarge1 |
-/- |
-/- |
91.5/91.2 |
97.0 |
- |
- |
93.1 |
92.1/94.3 |
- |
92.9/92.7 |
DeBERTa-V2-XLarge1 |
95.8/90.8 |
91.4/88.9 |
91.7/91.6 |
97.5 |
95.8 |
71.1 |
93.9 |
92.0/94.2 |
92.3/89.8 |
92.9/92.9 |
DeBERTa-V2-XXLarge1,2 |
96.1/91.4 |
92.2/89.7 |
91.7/91.9 |
97.2 |
96.0 |
72.0 |
93.5 |
93.1/94.9 |
92.7/90.3 |
93.2/93.1 |
📌 注意事項
cd transformers/examples/text-classification/
export TASK_NAME=mrpc
python -m torch.distributed.launch --nproc_per_node=8 run_glue.py --model_name_or_path microsoft/deberta-v2-xxlarge \
--task_name $TASK_NAME --do_train --do_eval --max_seq_length 128 --per_device_train_batch_size 4 \
--learning_rate 3e-6 --num_train_epochs 3 --output_dir /tmp/$TASK_NAME/ --overwrite_output_dir --sharded_ddp --fp16
📖 引用說明
如果你發現DeBERTa對你的工作有幫助,請引用以下論文:
@inproceedings{
he2021deberta,
title={DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION},
author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=XPZIaotutsD}
}
📄 許可證
本項目採用MIT許可證。