D

Deberta Xlarge

由microsoft開發
DeBERTa通過解耦注意力機制和增強型掩碼解碼器改進了BERT與RoBERTa模型,在多數自然語言理解任務上表現優異。
下載量 312
發布時間 : 3/2/2022

模型概述

DeBERTa是一種改進的BERT模型,通過解耦注意力機制和增強型掩碼解碼器提升自然語言理解任務的性能。

模型特點

解耦注意力機制
通過分離內容和位置注意力機制,提升模型對文本的理解能力。
增強型掩碼解碼器
改進的掩碼解碼策略,提高模型在掩碼語言建模任務中的表現。
大規模預訓練
使用80GB訓練數據進行預訓練,在各種自然語言理解任務上超越RoBERTa。

模型能力

文本理解
掩碼填充
自然語言推理
問答系統
文本分類

使用案例

自然語言理解
問答系統
在SQuAD 1.1/2.0等問答數據集上表現優異。
在SQuAD 1.1上F1/EM達到95.5/90.1
文本分類
在GLUE基準測試中的文本分類任務表現突出。
在SST-2情感分類任務上準確率達97.0%
自然語言推理
在MNLI等自然語言推理任務上表現優異。
在MNLI-m/mm上準確率達91.5/91.2
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase