D

Deberta V2 Xxlarge

由microsoft開發
DeBERTa V2 XXLarge是基於解耦注意力與增強掩碼解碼的改進型BERT模型,具有15億參數,在多項自然語言理解任務上超越BERT和RoBERTa表現
下載量 9,179
發布時間 : 3/2/2022

模型概述

DeBERTa通過創新的解耦注意力機制和增強型掩碼解碼器改進了BERT架構,該XXLarge版本具有48層網絡和1536維隱藏層,訓練數據達160GB,在GLUE和SQuAD等基準測試中表現優異

模型特點

解耦注意力機制
將內容和位置注意力分離計算,更精確建模文本依賴關係
增強掩碼解碼器
改進的掩碼語言建模目標,考慮絕對位置信息提升預測能力
大規模預訓練
使用160GB高質量文本數據進行訓練,學習更豐富的語言表示

模型能力

文本理解
語義分析
問答系統
文本分類
自然語言推理

使用案例

學術研究
GLUE基準測試
在通用語言理解評估基準上實現最先進性能
MNLI準確率91.7%,SST-2情感分析97.2%
工業應用
智能客服
用於理解用戶查詢意圖和生成響應
文檔分析
自動分類和提取合同/報告中的關鍵信息
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase