Z

ZSD Microsoft V2xxlmnli

由NDugar開發
基於解耦注意力機制的增強型BERT解碼模型,在MNLI任務上微調的大規模版本
下載量 59
發布時間 : 3/2/2022

模型概述

DeBERTa通過創新的解耦注意力機制和增強型掩碼解碼器改進了BERT架構,在多項自然語言理解任務上達到SOTA表現。此版本專門針對MNLI(多體裁自然語言推理)任務進行了微調。

模型特點

解耦注意力機制
將內容和位置注意力分離計算,顯著提升模型對複雜語言結構的理解能力
增強型掩碼解碼器
改進的掩碼語言建模方式,更好地捕捉詞語間的依賴關係
跨任務遷移能力
在MNLI上微調後可直接遷移到RTE/MRPC/STS-B等相似任務

模型能力

自然語言推理
文本分類
語義相似度計算
零樣本分類

使用案例

文本理解
多體裁文本推理
判斷兩段文本間的邏輯關係(蘊含/矛盾/中立)
在MNLI測試集達到91.7/91.9準確率
語義相似度分析
評估句子對之間的語義相似程度
在STS-B數據集達到93.2皮爾遜相關係數
遷移學習
小樣本任務適配
基於MNLI微調模型快速適配RTE等推理任務
在RTE任務達到93.5準確率
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase