Bert Small Finetuned Squadv2

🚀 BERT-Small在SQuAD v2上微調模型

本項目使用由Google Research創建的BERT-Small模型，並在2.0版斯坦福問答數據集（SQuAD 2.0）上進行微調，以用於**問答（Q&A）**下游任務。

模型大小（訓練後）：109.74 MB

🚀 快速開始

這是一個基於BERT-Small在SQuAD v2數據集上微調的問答模型。你可以通過以下代碼快速使用該模型進行問答任務：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-small-finetuned-squadv2",
    tokenizer="mrm8488/bert-small-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"
})

# Output:

{
  "answer": "Manuel Romero",
  "end": 13,
  "score": 0.9939319924374637,
  "start": 0
}

✨ 主要特性

BERT-Small及其“家族”詳情

該模型於2020年3月11日發佈，是24個較小的BERT模型的一部分（僅英文，無大小寫區分，使用WordPiece掩碼訓練），這些模型在論文《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》中被提及。

較小的BERT模型適用於計算資源受限的環境，它們可以像原始BERT模型一樣進行微調。不過，在知識蒸餾的場景中，它們的效果最佳，即微調標籤由更大、更準確的“教師”模型生成。

下游任務（問答）詳情 - 數據集

2.0版斯坦福問答數據集（SQuAD2.0）將SQuAD1.1中的10萬個問題與超過5萬個由眾包工作者對抗性編寫的無法回答的問題相結合，這些無法回答的問題在外觀上與可回答的問題相似。要在SQuAD2.0上取得好成績，系統不僅要在可能的情況下回答問題，還要判斷段落何時不支持答案並放棄回答。

📦 安裝指南

模型在Tesla P100 GPU和25GB內存上進行訓練。微調腳本可在此處找到。

💻 使用示例

基礎用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-small-finetuned-squadv2",
    tokenizer="mrm8488/bert-small-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"
})

# Output:

{
  "answer": "Manuel Romero",
  "end": 13,
  "score": 0.9939319924374637,
  "start": 0
}

高級用法

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "For which company has worked Manuel Romero?"
})

# Output:

{
  "answer": "hugginface/transformers",
  "end": 79,
  "score": 0.6024888734447131,
  "start": 56
}

📚 詳細文檔

模型訓練結果

模型對比

📄 許可證

文檔未提及相關許可證信息。

由Manuel Romero/@mrm8488創建 | 領英

於西班牙用心打造 ♥