🚀 DeBERTaV3:使用帶梯度解耦嵌入共享的 ELECTRA 式預訓練改進 DeBERTa
DeBERTaV3 是一種基於預訓練的自然語言處理模型,它在 DeBERTa 的基礎上進行了改進,通過採用 ELECTRA 式預訓練和梯度解耦嵌入共享技術,顯著提升了模型在下游任務中的性能。
🚀 快速開始
模型概述
DeBERTa 通過解耦注意力和增強掩碼解碼器改進了 BERT 和 RoBERTa 模型。藉助這兩項改進,DeBERTa 在使用 80GB 訓練數據的大多數自然語言理解(NLU)任務中表現優於 RoBERTa。
在 DeBERTa V3 中,我們使用帶梯度解耦嵌入共享的 ELECTRA 式預訓練進一步提高了 DeBERTa 的效率。與 DeBERTa 相比,我們的 V3 版本顯著提升了模型在下游任務中的性能。你可以從我們的 論文 中找到關於新模型的更多技術細節。
請查看 官方倉庫 以獲取更多實現細節和更新。
模型參數
DeBERTa V3 xsmall 模型有 12 層,隱藏層大小為 384。它只有 2200 萬 個骨幹參數,詞彙表包含 12.8 萬個標記,這在嵌入層引入了 4800 萬個參數。該模型與 DeBERTa V2 一樣,使用 160GB 數據進行訓練。
✨ 主要特性
NLU 任務微調結果
我們展示了在 SQuAD 2.0 和 MNLI 任務上的開發結果。
模型 |
詞彙量 (K) |
骨幹參數數量 (M) |
SQuAD 2.0 (F1/EM) |
MNLI-m/mm (ACC) |
RoBERTa-base |
50 |
86 |
83.7/80.5 |
87.6/- |
XLNet-base |
32 |
92 |
-/80.2 |
86.8/- |
ELECTRA-base |
30 |
86 |
-/80.5 |
88.8/ |
DeBERTa-base |
50 |
100 |
86.2/83.1 |
88.8/88.5 |
DeBERTa-v3-large |
128 |
304 |
91.5/89.0 |
91.8/91.9 |
DeBERTa-v3-base |
128 |
86 |
88.4/85.4 |
90.6/90.7 |
DeBERTa-v3-small |
128 |
44 |
82.8/80.4 |
88.3/87.7 |
DeBERTa-v3-xsmall |
128 |
22 |
84.8/82.0 |
88.1/88.3 |
DeBERTa-v3-xsmall+SiFT |
128 |
22 |
-/- |
88.4/88.5 |
使用 HF transformers 進行微調
#!/bin/bash
cd transformers/examples/pytorch/text-classification/
pip install datasets
export TASK_NAME=mnli
output_dir="ds_results"
num_gpus=8
batch_size=8
python -m torch.distributed.launch --nproc_per_node=${num_gpus} \
run_glue.py \
--model_name_or_path microsoft/deberta-v3-xsmall \
--task_name $TASK_NAME \
--do_train \
--do_eval \
--evaluation_strategy steps \
--max_seq_length 256 \
--warmup_steps 1000 \
--per_device_train_batch_size ${batch_size} \
--learning_rate 4.5e-5 \
--num_train_epochs 3 \
--output_dir $output_dir \
--overwrite_output_dir \
--logging_steps 1000 \
--logging_dir $output_dir
📄 許可證
本項目採用 MIT 許可證。
引用
如果你發現 DeBERTa 對您的工作有用,請引用以下論文:
@misc{he2021debertav3,
title={DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing},
author={Pengcheng He and Jianfeng Gao and Weizhu Chen},
year={2021},
eprint={2111.09543},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@inproceedings{
he2021deberta,
title={DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION},
author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=XPZIaotutsD}
}