Electra Base Finetuned Squadv1

🚀 電掣ELECTRA-base⚡ + SQuAD v1問答模型❓

本項目基於 Electra-base-discriminator 模型，在 SQUAD v1.1 數據集 上進行微調，以用於問答（Q&A）下游任務。該模型能有效處理問答場景，為相關應用提供強大支持。

🚀 快速開始

你可以通過以下代碼快速使用該模型：

from transformers import pipeline

QnA_pipeline = pipeline('question-answering', model='mrm8488/electra-base-finetuned-squadv1')

QnA_pipeline({
    'context': 'A new strain of flu that has the potential to become a pandemic has been identified in China by scientists.',
    'question': 'What has been discovered by scientists from China ?'
})
# 輸出:
{'answer': 'A new strain of flu', 'end': 19, 'score': 0.9995211430099182, 'start': 0}

✨ 主要特性

模型特性 🧠

ELECTRA 是一種用於自監督語言表徵學習的新方法。它可以用相對較少的計算資源來預訓練Transformer網絡。ELECTRA模型經過訓練，能夠區分“真實”的輸入標記和由另一個神經網絡生成的“虛假”輸入標記，這與生成對抗網絡（GAN）的判別器類似。在小規模訓練時，即使在單個GPU上進行訓練，ELECTRA也能取得不錯的效果。在大規模訓練時，ELECTRA在 SQuAD 2.0 數據集上達到了當前的最優效果。

數據集特性 📚

斯坦福問答數據集（SQuAD）是一個閱讀理解數據集，由眾包工作者針對一組維基百科文章提出的問題組成。每個問題的答案都是對應閱讀段落中的一段文本，或者該問題可能無法回答。SQuAD v1.1 包含了500多篇文章中的10萬多個問答對。

📦 安裝指南

該模型在配備25GB內存的Tesla P100 GPU上進行訓練，使用以下命令進行訓練：

python transformers/examples/question-answering/run_squad.py \
  --model_type electra \
  --model_name_or_path 'google/electra-base-discriminator' \
  --do_eval \
  --do_train \
  --do_lower_case \
  --train_file '/content/dataset/train-v1.1.json' \
  --predict_file '/content/dataset/dev-v1.1.json' \
  --per_gpu_train_batch_size 16 \
  --learning_rate 3e-5 \
  --num_train_epochs 10 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir '/content/output' \
  --overwrite_output_dir \
  --save_steps 1000

📚 詳細文檔

測試集結果 🧾

對於這樣一個“小”模型來說，這些指標表現非常出色！

{
'exact': 83.03689687795648,
'f1': 90.77486052446231,
'total': 10570,
'HasAns_exact': 83.03689687795648,
'HasAns_f1': 90.77486052446231,
'HasAns_total': 10570,
'best_exact': 83.03689687795648,
'best_exact_thresh': 0.0,
'best_f1': 90.77486052446231,
'best_f1_thresh': 0.0
}

模型實戰 🚀

通過 pipelines 可以快速使用該模型：

from transformers import pipeline

QnA_pipeline = pipeline('question-answering', model='mrm8488/electra-base-finetuned-squadv1')

QnA_pipeline({
    'context': 'A new strain of flu that has the potential to become a pandemic has been identified in China by scientists.',
    'question': 'What has been discovered by scientists from China ?'
})
# 輸出:
{'answer': 'A new strain of flu', 'end': 19, 'score': 0.9995211430099182, 'start': 0}

本項目由 Manuel Romero/@mrm8488 創建 | 領英 於西班牙用心打造 ♥