Bert Medium Finetuned Squadv2

🚀 BERT-Medium在SQuAD v2上微調模型

該模型由Google Research創建的BERT-Medium，並在數據集SQuAD 2.0上進行微調，用於問答下游任務。

模型大小（訓練後）：157.46 MB

✨ 主要特性

BERT-Small及其“家族”詳情（來自其文檔）

該模型於2020年3月11日發佈，是24個較小的BERT模型（僅英文，無大小寫區分，使用WordPiece掩碼訓練）的一部分，相關內容參考論文《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》。

這些較小的BERT模型適用於計算資源受限的環境，它們可以像原始BERT模型一樣進行微調。不過，在知識蒸餾的場景下它們最為有效，即微調標籤由更大、更準確的“教師”模型生成。

下游任務（問答）詳情 - 數據集

SQuAD2.0將SQuAD1.1中的100,000個問題與眾包工作者對抗性編寫的50,000多個無法回答的問題（這些問題看起來與可回答的問題相似）相結合。要在SQuAD2.0上表現良好，系統不僅要在可能的情況下回答問題，還要判斷段落中何時沒有支持答案的信息並避免作答。

📦 安裝指南

該模型在Tesla P100 GPU和25GB RAM上進行訓練，微調腳本可在此處找到。

📚 詳細文檔

結果

訓練腳本中基準測試的原始指標

{
  "exact": 65.95637159942727,
  "f1": 70.11632254245896,
  "total": 11873,
  "HasAns_exact": 67.79689608636977,
  "HasAns_f1": 76.12872765631123,
  "HasAns_total": 5928,
  "NoAns_exact": 64.12111017661901,
  "NoAns_f1": 64.12111017661901,
  "NoAns_total": 5945,
  "best_exact": 65.96479407058031,
  "best_exact_thresh": 0.0,
  "best_f1": 70.12474501361196,
  "best_f1_thresh": 0.0
}

模型對比

💻 使用示例

基礎用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-small-finetuned-squadv2",
    tokenizer="mrm8488/bert-small-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

# Output:

{
  "answer": "Manuel Romero",
  "end": 13,
  "score": 0.9939319924374637,
  "start": 0
}

高級用法

qa_pipeline({
    'context': "Manuel Romero has been working remotely in the repository hugginface/transformers lately",
    'question': "How has been working Manuel Romero?"
})

# Output:

{ "answer": "remotely", "end": 39, "score": 0.3612058272768017, "start": 31 }

運行成功！🎉🎉🎉

由Manuel Romero/@mrm8488創建 | 領英

於西班牙用心打造 ♥