D

Deberta V2 Xxlarge Mnli

由microsoft開發
DeBERTa V2 XXLarge是基於解耦注意力機制的增強型BERT變體,在自然語言理解任務上超越RoBERTa和XLNet,參數量達15億
下載量 4,077
發布時間 : 3/2/2022

模型概述

通過解耦注意力機制和增強型掩碼解碼器改進的預訓練語言模型,特別針對MNLI任務微調,適用於各類自然語言理解任務

模型特點

解耦注意力機制
將內容與位置注意力分離計算,增強模型對位置信息的敏感度
增強型掩碼解碼器
改進的掩碼語言建模目標,更好地捕獲被掩碼token的絕對位置信息
大規模預訓練
使用80GB訓練數據,在多項NLU任務上達到SOTA性能

模型能力

自然語言推理
文本分類
問答系統
語義相似度計算

使用案例

文本理解
情感分析
分析文本情感傾向
在SST-2數據集上達到97.2%準確率
問答系統
開放域問答任務
SQuAD 2.0上F1值92.2/EM 89.7
語義分析
文本蘊含識別
判斷文本間的邏輯關係
RTE任務上93.5%準確率
語義相似度計算
計算句子間語義相似度
STS-B皮爾遜相關係數93.2
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase