Spanbert Finetuned Squadv2

🚀 SpanBERT (spanbert-base-cased) をSQuAD v2でファインチューニング

SpanBERTはFacebook Researchによって作成され、質問応答（Q&A）の下流タスク用にSQuAD 2.0でファインチューニングされました。質問応答シーンを効果的に処理し、関連分野のアプリケーションに強力なサポートを提供します。

🚀 クイックスタート

SpanBERTは、質問応答の下流タスクに特化してSQuAD 2.0でファインチューニングされたモデルです。以下の使用例を参考に、すぐに質問応答タスクに取り組むことができます。

📚 ドキュメント

SpanBERTの詳細

SpanBERT: 通过表示和预测跨度改进预训练

下流タスク（質問応答）の詳細 - データセット

SQuAD2.0は、SQuAD1.1の100,000個の質問と、50,000個以上の众包作業者によって対抗性を持って作成された回答不能な質問を組み合わせています。これらの回答不能な質問は、形式的には回答可能な質問と似ています。SQuAD2.0で良い結果を得るには、システムは可能な場合は質問に回答するだけでなく、段落に回答を支持する内容がないときを判断して回答を避ける必要があります。

モデルの訓練

このモデルは、Tesla P100 GPUと25GBのメモリで訓練されました。ファインチューニングスクリプトはここで見つけることができます。

結果

元の指標

{
  "exact": 78.80064010780762,
  "f1": 82.22801347271162,
  "total": 11873,
  "HasAns_exact": 78.74493927125506,
  "HasAns_f1": 85.60951483831069,
  "HasAns_total": 5928,
  "NoAns_exact": 78.85618166526493,
  "NoAns_f1": 78.85618166526493,
  "NoAns_total": 5945,
  "best_exact": 78.80064010780762,
  "best_exact_thresh": 0.0,
  "best_f1": 82.2280134727116,
  "best_f1_thresh": 0.0
}

比較

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/spanbert-finetuned-squadv2",
    tokenizer="mrm8488/spanbert-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

# 出力: {'answer': 'Manuel Romero', 'end': 13, 'score': 6.836378586818937e-09, 'start': 0}

Manuel Romero/@mrm8488によって作成されました。

スペインで心を込めて作られました。