Bert Small Finetuned Squadv2

🚀 BERT-Small を SQuAD v2 でファインチューニング

Google Researchによって作成されたBERT-Smallを、SQuAD 2.0でファインチューニングし、質問応答の下流タスクに使用します。

モデルサイズ (学習後): 109.74 MB

📚 BERT-Small とその「ファミリー」の詳細 (公式ドキュメントより)

2020年3月11日にリリースされました。 このモデルは、Well-Read Students Learn Better: On the Importance of Pre-training Compact Modelsで参照されている24の小型BERTモデル（英語のみ、アンケース、WordPieceマスキングで学習）の一部です。

小型のBERTモデルは、計算リソースが制限された環境向けに設計されています。元のBERTモデルと同じ方法でファインチューニングすることができます。ただし、教師モデルが生成したファインチューニングラベルを使用する知識蒸留のコンテキストで最も効果的です。

📊 下流タスク（質問応答）の詳細 - データセット

SQuAD2.0は、SQuAD1.1の10万件の質問に、クラウドワーカーが敵対的に作成した5万件以上の回答不能な質問を組み合わせたものです。これらの質問は、回答可能な質問と似た外見を持っています。SQuAD2.0で良好な結果を得るには、システムは可能な場合に質問に回答するだけでなく、段落に回答がない場合にも回答を控える必要があります。

🛠️ モデルの学習

このモデルは、Tesla P100 GPUと25GBのRAMを使用して学習されました。 ファインチューニングのスクリプトはこちらで見つけることができます。

📈 結果:

📊 比較:

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-small-finetuned-squadv2",
    tokenizer="mrm8488/bert-small-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

# Output:

{
  "answer": "Manuel Romero",
  "end": 13,
  "score": 0.9939319924374637,
  "start": 0
}

高度な使用法

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "For which company has worked Manuel Romero?"
})

# Output:

{
  "answer": "hugginface/transformers",
  "end": 79,
  "score": 0.6024888734447131,
  "start": 56
}

動作確認!! 🎉 🎉 🎉

作成者: Manuel Romero/@mrm8488 | LinkedIn

スペインで ♥ を込めて作成されました