Bert Tiny 5 Finetuned Squadv2

🚀 BERT-Tiny 在SQuAD v2上微調模型

BERT-Tiny 由 Google Research 創建，並在 SQuAD 2.0 數據集上進行微調，用於 問答（Q&A） 下游任務。

模型大小（訓練後）：24.33 MB

✨ 主要特性

BERT-Tiny及其“家族”詳情（來自其文檔）

該模型於2020年3月11日發佈，是24個較小的BERT模型的一部分（僅英文，無大小寫區分，使用WordPiece掩碼進行訓練），相關內容參考論文 《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》。

這些較小的BERT模型適用於計算資源受限的環境。它們可以像原始BERT模型一樣進行微調。不過，在知識蒸餾場景中效果最佳，即微調標籤由一個更大、更準確的“教師”模型生成。

下游任務（問答）詳情 - 數據集

SQuAD2.0 將SQuAD1.1中的100,000個問題與超過50,000個由眾包工作者對抗性編寫的無法回答的問題相結合，這些無法回答的問題看起來與可回答的問題相似。要在SQuAD2.0上取得好成績，系統不僅要在可能的情況下回答問題，還要判斷段落何時不支持答案並放棄回答。

📦 安裝指南

模型在Tesla P100 GPU和25GB RAM上進行訓練。微調腳本可在 此處 找到。

🔧 技術細節

模型訓練

模型在Tesla P100 GPU和25GB的RAM上進行訓練，微調腳本可在 這裡 找到。

訓練結果

與其他模型的對比：

💻 使用示例

基礎用法

使用 pipelines 快速使用模型：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-tiny-5-finetuned-squadv2",
    tokenizer="mrm8488/bert-tiny-5-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

由 Manuel Romero/@mrm8488 創建 | 領英

在西班牙用心打造 ♥