X

Xtremedistil L6 H384 Uncased

由microsoft開發
XtremeDistilTransformers是一種經過知識蒸餾的輕量級Transformer模型,具有任務無關性,可應用於多種自然語言處理任務。
下載量 1,854
發布時間 : 3/2/2022

模型概述

該模型通過任務遷移技術進行知識蒸餾,學習小型通用模型,適用於任意任務與語言。相比BERT-base,實現了5.3倍的加速。

模型特點

任務無關蒸餾
通過任務遷移技術學習小型通用模型,可應用於任意任務與語言。
高效性能
相比BERT-base實現5.3倍加速,同時保持較高的性能表現。
多任務蒸餾技術
融合了XtremeDistil和MiniLM等多任務蒸餾技術,優化模型性能。

模型能力

文本分類
問答系統
自然語言理解

使用案例

自然語言處理
文本分類
可用於情感分析、主題分類等文本分類任務。
在GLUE開發集的MNLI任務上達到85.4%的準確率。
問答系統
適用於構建高效的問答系統。
在SQuAD-v2任務上達到76.6%的F1分數。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase