Bert Medium Finetuned Squadv2

🚀 BERT-Medium を SQuAD v2 でファインチューニング

Google Research によって作成された BERT-Medium を、Q&A の下流タスク用に SQuAD 2.0 でファインチューニングしたモデルです。

モデルサイズ (学習後): 157.46 MB

📚 BERT-Small とその「ファミリー」の詳細 (公式ドキュメントより)

2020年3月11日に公開されました。

このモデルは、Well-Read Students Learn Better: On the Importance of Pre-training Compact Models で参照されている24の小型BERTモデル (英語のみ、小文字化、WordPieceマスキングで学習) の一部です。

小型BERTモデルは、計算リソースが制限された環境向けに設計されています。元のBERTモデルと同じ方法でファインチューニングすることができます。ただし、知識蒸留のコンテキストで最も効果的で、ファインチューニングのラベルは、より大きく精度の高い教師モデルによって生成されます。

📊 下流タスク (Q&A) の詳細 - データセット

SQuAD2.0 は、SQuAD1.1の100,000の質問に、クラウドワーカーによって敵対的に作成された回答可能な質問に似せた50,000を超える回答不能な質問を組み合わせています。SQuAD2.0で良好な結果を得るには、システムは可能な場合は質問に回答するだけでなく、段落に回答がない場合を判断して回答を控える必要があります。

🛠️ モデルの学習

このモデルは、Tesla P100 GPUと25GBのRAMで学習されました。 ファインチューニングのスクリプトは こちら で見つけることができます。

📈 結果:

学習スクリプトに含まれるベンチマークの生メトリクス:

{
  "exact": 65.95637159942727,
  "f1": 70.11632254245896,
  "total": 11873,
  "HasAns_exact": 67.79689608636977,
  "HasAns_f1": 76.12872765631123,
  "HasAns_total": 5928,
  "NoAns_exact": 64.12111017661901,
  "NoAns_f1": 64.12111017661901,
  "NoAns_total": 5945,
  "best_exact": 65.96479407058031,
  "best_exact_thresh": 0.0,
  "best_f1": 70.12474501361196,
  "best_f1_thresh": 0.0
}

📊 比較:

💻 モデルの使用例

パイプライン を使用した簡単な使い方:

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-small-finetuned-squadv2",
    tokenizer="mrm8488/bert-small-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

# 出力:

{
  "answer": "Manuel Romero",
  "end": 13,
  "score": 0.9939319924374637,
  "start": 0
}

はい！簡単です 🎉 別の例を試してみましょう

qa_pipeline({
    'context': "Manuel Romero has been working remotely in the repository hugginface/transformers lately",
    'question': "How has been working Manuel Romero?"
})

# 出力:

{ "answer": "remotely", "end": 39, "score": 0.3612058272768017, "start": 31 }

動作します！！ 🎉 🎉 🎉

作成者: Manuel Romero/@mrm8488 | LinkedIn

スペインで ♥ を込めて作成