Bert Tiny Finetuned Squadv2

🚀 BERT-TinyをSQuAD v2でファインチューニング

このモデルは、Google Researchによって作成されたBERT-Tinyを、SQuAD 2.0でファインチューニングし、質問応答の下流タスクに特化させたものです。

モデルサイズ (学習後): 16.74 MB

📚 BERT-Tinyとその「ファミリー」の詳細 (公式ドキュメントより)

2020年3月11日に公開されました。

このモデルは、Well-Read Students Learn Better: On the Importance of Pre-training Compact Modelsで参照されている24の小型BERTモデル（英語のみ、大文字小文字を区別せず、WordPieceマスキングで学習）の一部です。

小型BERTモデルは、計算リソースが制限された環境を対象としています。元のBERTモデルと同じ方法でファインチューニングすることができます。ただし、知識蒸留の文脈で最も効果的で、ファインチューニングのラベルは、より大きく精度の高い教師モデルによって生成されます。

📊 下流タスク（質問応答）の詳細 - データセット

SQuAD2.0は、SQuAD1.1の10万件の質問と、群衆作業者によって敵対的に作成された5万件以上の回答不能な質問を組み合わせたものです。これらの質問は、回答可能な質問と似たような見た目になっています。SQuAD2.0で良好な結果を得るためには、システムは可能な場合は質問に回答するだけでなく、段落に回答がない場合を判断して回答を控える必要があります。

🛠️ モデルの学習

このモデルは、Tesla P100 GPUと25GBのRAMを使用して学習されました。 ファインチューニングのスクリプトはこちらで見つけることができます。

📈 結果

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-tiny-finetuned-squadv2",
    tokenizer="mrm8488/bert-tiny-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

# Output:

{
  "answer": "Manuel Romero",
  "end": 13,
  "score": 0.05684709993458714,
  "start": 0
}

高度な使用法

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "For which company has worked Manuel Romero?"
})

# Output:

{
  "answer": "hugginface/transformers",
  "end": 79,
  "score": 0.11613431826808274,
  "start": 56
}

動作確認！ 🎉 🎉 🎉

作成者: Manuel Romero/@mrm8488 | LinkedIn

スペインで愛を込めて作成されました ♥