Bert Mini Finetuned Squadv2

🚀 BERT-MiniをSQuAD v2で微調整したモデル

このプロジェクトでは、Google Researchによって作成されたBERT-Miniモデルを使用し、SQuAD 2.0データセットで微調整を行い、質問応答という下流タスクを達成します。

モデルサイズ（学習後）：42.63 MB

🚀 クイックスタート

このモデルは質問応答タスクに使用できます。以下はpipelinesを使用したクイックスタートの例です。

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-mini-finetuned-squadv2",
    tokenizer="mrm8488/bert-mini-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

# Output:

{
  "answer": "Manuel Romero",
  "end": 13,
  "score": 0.9676484207783673,
  "start": 0
}

高度な使用法

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "For which company has worked Manuel Romero?"
})

# Output:

{
  "answer": "hugginface/transformers",
  "end": 79,
  "score": 0.5301655914731853,
  "start": 56
}

✨ 主な機能

BERT-Miniとその「ファミリー」の詳細（ドキュメントより）

このモデルは2020年3月11日に公開され、24の小型BERTモデル（英語のみ、大文字小文字を区別せず、WordPieceマスクで学習）の一部です。これらのモデルは論文Well-Read Students Learn Better: On the Importance of Pre-training Compact Modelsで言及されています。

小型のBERTモデルは、計算リソースが限られた環境に適しています。これらは元のBERTモデルと同じように微調整できます。ただし、知識蒸留のシナリオで最も効果的で、その場合、微調整のラベルはより大きく、より正確な「教師」モデルによって生成されます。

下流タスク（質問応答）の詳細 - データセット

SQuAD2.0は、SQuAD1.1の100,000の質問と、回答できない50,000以上の質問（外見上は回答可能な質問と似ています）を組み合わせています。これらの回答できない質問は、コミュニティの作業者によって対抗的に作成されました。SQuAD2.0で良い結果を得るには、システムは可能な場合は質問に回答するだけでなく、段落が回答をサポートしない場合を判断し、回答を避ける必要があります。

🔧 技術詳細

モデル学習

このモデルは、Tesla P100 GPUと25GBのメモリで学習されました。微調整スクリプトはこちらで見つけることができます。

結果

比較

📄 ライセンス

ドキュメントにはライセンスに関する情報が記載されていません。

Manuel Romero/@mrm8488によって作成 | リンクトイン

スペインで愛を込めて作られました ♥