B

BERT Of Theseus MNLI

由canwenxu開發
通過漸進式模塊替換壓縮BERT的模型,在保持性能的同時減少模型複雜度
下載量 31
發布時間 : 3/2/2022

模型概述

忒修斯BERT是一種通過逐步替換原始BERT組件實現的新型壓縮BERT模型,適用於句子分類任務,在GLUE基準測試中表現優異。

模型特點

漸進式模塊替換
通過逐步替換原始BERT組件實現模型壓縮,保持性能的同時減少複雜度
中間任務遷移學習
模型適用於中間任務遷移學習,需要針對特定任務進行微調
性能優勢
在GLUE基準測試中,6層結構優於同等規模的DistillBERT

模型能力

句子分類
自然語言推理
文本相似度計算

使用案例

自然語言處理
文本分類
可用於各種文本分類任務
在SST-2情感分析任務上達到91.8%準確率
自然語言推理
判斷兩個句子之間的邏輯關係
在MNLI任務上達到82.1%準確率
句子相似度計算
計算兩個句子的語義相似度
在STS-B任務上達到87.8%準確率
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase