SpanBERT開源問答模型 - 經SQuAD 2.0微調，免費實現高效問答應用

首頁

Spanbert Finetuned Squadv2

由mrm8488開發

SpanBERT是由Facebook Research開發的預訓練模型，針對問答任務在SQuAD 2.0數據集上進行了微調。

問答系統英語#問答系統 #文本跨度預測 #SQuAD2.0適配

下載量 154

發布時間 : 3/2/2022

模型概述

該模型是基於SpanBERT架構的問答模型，專門針對SQuAD 2.0數據集進行了微調，能夠回答問題和判斷問題是否可回答。

模型特點

文本跨度預測

SpanBERT通過表示與預測文本跨度改進預訓練，特別適合問答任務。

處理不可回答問題

模型能夠識別段落中是否不支持答案並避免回答，這是SQuAD 2.0的核心挑戰。

模型能力

問答系統

文本理解

答案定位

使用案例

教育

閱讀理解輔助

幫助學生理解文章內容並回答問題

提高閱讀理解效率和準確性

客戶服務

自動問答系統

自動回答客戶常見問題

減少人工客服工作量

🚀 SpanBERT (spanbert-base-cased) 在SQuAD v2上微調

SpanBERT由Facebook Research創建，並在SQuAD 2.0上進行微調，用於問答（Q&A）下游任務。它能有效處理問答場景，為相關領域的應用提供了強大的支持。

📚 詳細文檔

SpanBERT詳情

SpanBERT: 通過表示和預測跨度改進預訓練

下游任務（問答）詳情 - 數據集

SQuAD2.0將SQuAD1.1中的100,000個問題與超過50,000個由眾包工作者對抗性編寫的無法回答的問題結合在一起，這些無法回答的問題在形式上與可回答的問題相似。要在SQuAD2.0上取得好成績，系統不僅要在可能的情況下回答問題，還要判斷段落中何時沒有支持答案的內容並避免回答。

數據集	劃分	樣本數量
SQuAD2.0	訓練集	130k
SQuAD2.0	評估集	12.3k

模型訓練

該模型在Tesla P100 GPU和25GB內存上進行訓練。微調腳本可在此處找到。

結果

指標	值
精確匹配（EM）	78.80
F1分數	82.22

原始指標

{
  "exact": 78.80064010780762,
  "f1": 82.22801347271162,
  "total": 11873,
  "HasAns_exact": 78.74493927125506,
  "HasAns_f1": 85.60951483831069,
  "HasAns_total": 5928,
  "NoAns_exact": 78.85618166526493,
  "NoAns_f1": 78.85618166526493,
  "NoAns_total": 5945,
  "best_exact": 78.80064010780762,
  "best_exact_thresh": 0.0,
  "best_f1": 82.2280134727116,
  "best_f1_thresh": 0.0
}

對比

模型	精確匹配（EM）	F1分數
SpanBert官方倉庫	-	83.6*
spanbert-finetuned-squadv2	78.80	82.22

💻 使用示例

基礎用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/spanbert-finetuned-squadv2",
    tokenizer="mrm8488/spanbert-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

# 輸出: {'answer': 'Manuel Romero', 'end': 13, 'score': 6.836378586818937e-09, 'start': 0}