D

Deberta Base

由microsoft開發
DeBERTa是基於解耦注意力機制和增強型掩碼解碼器改進的BERT模型,在多項自然語言理解任務上表現優異。
下載量 298.78k
發布時間 : 3/2/2022

模型概述

DeBERTa通過創新的解耦注意力機制改進了BERT架構,在80GB訓練數據上超越了BERT和RoBERTa的性能表現。

模型特點

解耦注意力機制
通過分離內容和位置信息處理,提升注意力機制的表達能力
增強型掩碼解碼
改進的掩碼預測機制,更好地捕捉上下文依賴關係
高效預訓練
使用80GB訓練數據即達到超越RoBERTa的性能表現

模型能力

文本掩碼預測
自然語言理解
上下文表徵學習

使用案例

問答系統
SQuAD問答任務
用於機器閱讀理解任務
在SQuAD 1.1上達到93.1/87.2(F1/EM)
文本分類
MNLI推理任務
用於自然語言推理任務
在MNLI-m上達到88.8%準確率
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase