Bert Mini Finetuned Squadv2

🚀 BERT-Mini在SQuAD v2上微調模型

本項目使用由Google Research創建的BERT-Mini模型，並在SQuAD 2.0數據集上進行微調，以完成問答下游任務。

模型大小（訓練後）：42.63 MB

🚀 快速開始

本模型可用於問答任務，以下是使用pipelines的快速使用示例：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-mini-finetuned-squadv2",
    tokenizer="mrm8488/bert-mini-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

# Output:

{
  "answer": "Manuel Romero",
  "end": 13,
  "score": 0.9676484207783673,
  "start": 0
}

高級用法

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "For which company has worked Manuel Romero?"
})

# Output:

{
  "answer": "hugginface/transformers",
  "end": 79,
  "score": 0.5301655914731853,
  "start": 56
}

✨ 主要特性

BERT-Mini及其“家族”詳情（來自其文檔）

該模型於2020年3月11日發佈，是24個較小的BERT模型（僅英文，無大小寫區分，使用WordPiece掩碼訓練）的一部分，這些模型在論文Well-Read Students Learn Better: On the Importance of Pre-training Compact Models中被提及。

較小的BERT模型適用於計算資源受限的環境。它們可以像原始BERT模型一樣進行微調。不過，在知識蒸餾的場景下，它們最為有效，此時微調標籤由更大、更準確的“教師”模型生成。

下游任務（問答）詳情 - 數據集

SQuAD2.0將SQuAD1.1中的100,000個問題與超過50,000個由眾包工作者對抗性編寫的無法回答的問題相結合，這些無法回答的問題在外觀上與可回答的問題相似。要在SQuAD2.0上取得好成績，系統不僅要在可能的情況下回答問題，還要判斷段落何時不支持答案並避免回答。

🔧 技術細節

模型訓練

該模型在Tesla P100 GPU和25GB內存上進行訓練。微調腳本可在此處找到。

結果

對比

📄 許可證

文檔未提及許可證相關信息。

由Manuel Romero/@mrm8488創建 | 領英

於西班牙用心打造 ♥