D

Deberta V3 Small

由microsoft開發
DeBERTa-v3是微軟推出的改進版自然語言理解模型,通過ELECTRA風格預訓練和梯度解耦嵌入共享技術優化,在保持較小參數量的同時實現高效性能。
下載量 189.23k
發布時間 : 3/2/2022

模型概述

DeBERTa-v3小型模型採用6層網絡結構,專注於自然語言理解任務,通過解耦注意力機制和增強型掩碼解碼器提升模型效率。

模型特點

ELECTRA風格預訓練
採用更高效的ELECTRA預訓練框架,提升模型訓練效率
梯度解耦嵌入共享
通過創新性的梯度解耦技術優化嵌入層參數共享
解耦注意力機制
改進的注意力機制能更好捕捉文本中的位置和內容信息
增強型掩碼解碼器
增強的掩碼語言建模能力提升模型理解性能

模型能力

文本分類
問答系統
自然語言推理

使用案例

文本理解
問答系統
應用於SQuAD等問答數據集
SQuAD 2.0上F1得分82.8
文本分類
應用於MNLI等自然語言推理任務
MNLI匹配/不匹配準確率88.3/87.7
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase