Bert Tiny 5 Finetuned Squadv2

🚀 BERT-Tiny (5) をSQuAD v2でファインチューニング

BERT-Tiny は Google Research によって作成され、SQuAD 2.0 で 質問応答（Q&A） の下流タスク用にファインチューニングされました。

モデルサイズ（学習後）：24.33 MB

📚 BERT-Tinyとその「家族」の詳細 (ドキュメントより)

2020年3月11日にリリースされました。

このモデルは、Well-Read Students Learn Better: On the Importance of Pre-training Compact Models で参照されている24の小型BERTモデル（英語のみ、大文字小文字を区別しない、WordPieceマスキングで学習）の一部です。

小型BERTモデルは、計算リソースが制限された環境向けに設計されています。元のBERTモデルと同じ方法でファインチューニングすることができます。ただし、知識蒸留の文脈で最も効果的で、ファインチューニングのラベルは、より大きく精度の高い教師モデルによって生成されます。

🔎 下流タスク（Q&A）の詳細 - データセット

SQuAD2.0 は、SQuAD1.1の10万の質問と、回答可能な質問に似せてクラウドワーカーが敵対的に作成した5万を超える回答不能な質問を組み合わせています。SQuAD2.0で良好な結果を得るには、システムは可能な場合は質問に回答するだけでなく、段落に回答がない場合を判断して回答を控える必要があります。

🛠️ モデルの学習

このモデルは、Tesla P100 GPUと25GBのRAMで学習されました。 ファインチューニングのスクリプトは こちら で見つけることができます。

📊 結果

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-tiny-5-finetuned-squadv2",
    tokenizer="mrm8488/bert-tiny-5-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

作成者: Manuel Romero/@mrm8488 | LinkedIn

スペインで ♥ を込めて作られました。