D

Deberta V2 Xlarge

由kamalkraj開發
DeBERTa是基於解耦注意力機制的增強型BERT解碼模型,通過改進的注意力機制和增強型掩碼解碼器,在多項自然語言理解任務上超越BERT和RoBERTa的表現。
下載量 302
發布時間 : 3/2/2022

模型概述

DeBERTa是一種改進的BERT模型,通過解耦注意力機制和增強型掩碼解碼器提升了自然語言理解任務的性能。該模型在160GB數據上訓練,具有24層網絡結構和1536維隱藏層大小,參數量達9億。

模型特點

解耦注意力機制
通過分離內容和位置注意力計算,更有效地捕捉文本中的依賴關係
增強型掩碼解碼器
改進的掩碼語言建模方法,提升模型對上下文的理解能力
大規模預訓練
基於160GB原始數據進行訓練,具備強大的語言表示能力

模型能力

文本理解
問答系統
文本分類
自然語言推理
語義相似度計算

使用案例

自然語言處理
問答系統
構建高性能問答系統,如SQuAD任務
在SQuAD 2.0上達到91.4/89.7的F1/EM分數
文本分類
用於情感分析等文本分類任務
在SST-2情感分析任務上達到97.5%準確率
自然語言推理
判斷兩段文本之間的邏輯關係
在MNLI任務上達到91.7/91.9的準確率
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase