Electra Base Finetuned Squadv1

🚀 エレクトラベース ⚡ + SQuAD v1 ❓

エレクトラベース判別器 を SQUAD v1.1データセット でファインチューニングし、質問応答 の下流タスクに使用します。

🚀 クイックスタート

このモデルは、エレクトラベース判別器 を SQUAD v1.1データセット でファインチューニングしたもので、質問応答の下流タスクに使用できます。

基本的な使用法

from transformers import pipeline

QnA_pipeline = pipeline('question-answering', model='mrm8488/electra-base-finetuned-squadv1')

QnA_pipeline({
    'context': 'A new strain of flu that has the potential to become a pandemic has been identified in China by scientists.',
    'question': 'What has been discovered by scientists from China ?'
})
# Output:
{'answer': 'A new strain of flu', 'end': 19, 'score': 0.9995211430099182, 'start': 0}

✨ 主な機能

• ELECTRA は自己教師付き言語表現学習の新しい方法で、比較的少ない計算量でトランスフォーマーネットワークを事前学習できます。
• 小規模では、単一のGPUで学習しても強力な結果が得られ、大規模では SQuAD 2.0 データセットで最先端の結果を達成します。

📦 インストール

このモデルは以下のコマンドで学習されました。

python transformers/examples/question-answering/run_squad.py \
  --model_type electra \
  --model_name_or_path 'google/electra-base-discriminator' \
  --do_eval \
  --do_train \
  --do_lower_case \
  --train_file '/content/dataset/train-v1.1.json' \
  --predict_file '/content/dataset/dev-v1.1.json' \
  --per_gpu_train_batch_size 16 \
  --learning_rate 3e-5 \
  --num_train_epochs 10 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir '/content/output' \
  --overwrite_output_dir \
  --save_steps 1000

📚 ドキュメント

下流タスク（質問応答） - モデル 🧠

ELECTRA は自己教師付き言語表現学習の新しい方法です。比較的少ない計算量でトランスフォーマーネットワークを事前学習するために使用できます。ELECTRAモデルは、他のニューラルネットワークによって生成された「偽」の入力トークンと「真」の入力トークンを区別するように学習され、GAN の判別器に似ています。小規模では、単一のGPUで学習しても強力な結果が得られます。大規模では、SQuAD 2.0 データセットで最先端の結果を達成します。

下流タスク（質問応答） - データセット 📚

Stanford Question Answering Dataset (SQuAD) は読解データセットで、Wikipedia記事のセットに対してクラウドワーカーが作成した質問で構成されています。すべての質問の答えは、対応する読解文のテキストセグメントまたはスパンであり、質問に答えられない場合もあります。SQuAD v1.1には、500以上の記事に対する10万以上の質問と回答のペアが含まれています。

🔧 技術詳細

テストセットの結果 🧾

このような「小さな」モデルでは非常に良い指標です。

{
'exact': 83.03689687795648,
'f1': 90.77486052446231,
'total': 10570,
'HasAns_exact': 83.03689687795648,
'HasAns_f1': 90.77486052446231,
'HasAns_total': 10570,
'best_exact': 83.03689687795648,
'best_exact_thresh': 0.0,
'best_f1': 90.77486052446231,
'best_f1_thresh': 0.0
}

作成者: Manuel Romero/@mrm8488 | LinkedIn スペインで ♥ を込めて作成されました