V

V2xl Again Mnli

由NDugar開發
DeBERTa是基於解耦注意力機制的增強型BERT解碼模型,通過改進注意力機制和掩碼解碼器,在多項自然語言理解任務中超越BERT和RoBERTa表現。
下載量 30
發布時間 : 3/2/2022

模型概述

DeBERTa通過解耦注意力機制和增強型掩碼解碼器改進了BERT與RoBERTa模型,在80GB訓練數據下,其於大多數自然語言理解任務中表現優異。

模型特點

解耦注意力機制
通過解耦注意力機制改進傳統BERT模型的注意力計算方式,提升模型性能。
增強型掩碼解碼器
採用增強型掩碼解碼器,進一步提升模型在自然語言理解任務中的表現。
大規模訓練數據
使用80GB訓練數據進行訓練,在多項任務中超越BERT和RoBERTa。

模型能力

自然語言理解
文本分類
零樣本分類

使用案例

自然語言處理
文本分類
可用於MNLI等文本分類任務。
在MNLI任務中達到91.3/91.1的準確率。
問答系統
可用於構建問答系統。
在SQuAD 1.1任務中達到95.5/90.1的F1/EM分數。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase