B

Bert Base Uncased Squadv1 X2.01 F89.2 D30 Hybrid Rewind Opt V1

由madlag開發
基於BERT-base uncased模型在SQuAD v1上微調的問答系統模型,通過nn_pruning庫進行剪枝優化,推理速度提升2.01倍,F1得分提升0.69。
下載量 22
發布時間 : 3/2/2022

模型概述

這是一個針對問答任務優化的BERT模型,通過結構化剪枝和蒸餾技術實現高效推理,適用於從給定文本中提取答案的任務。

模型特點

高效推理
通過結構化剪枝技術,模型運行速度達到原始BERT的2.01倍
性能提升
F1得分89.19,較原始BERT提升0.69
注意力頭優化
144個注意力頭中移除了55個(38.2%),保留關鍵注意力模式
激活函數優化
將GeLU替換為ReLU以加速推理,無需特殊處理

模型能力

文本問答
上下文理解
答案提取

使用案例

教育
歷史知識問答
從歷史文本中提取特定問題的答案
準確識別埃菲爾鐵塔位置等事實信息
信息檢索
文檔問答系統
從技術文檔中快速定位答案
F1得分89.19的準確率
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase