Electra Small Finetuned Squadv2

🚀 小型ELECTRA模型⚡ + SQuAD v2問答數據集❓

本項目基於 小型ELECTRA判別器，在 SQuAD v2.0數據集 上進行微調，以用於問答（Q&A）下游任務。該模型能夠有效處理問答任務，在問答準確性和效率上有不錯的表現。

🚀 快速開始

你可以使用以下代碼快速調用該模型進行問答任務：

from transformers import pipeline
QnA_pipeline = pipeline('question-answering', model='mrm8488/electra-base-finetuned-squadv2')
QnA_pipeline({
    'context': 'A new strain of flu that has the potential to become a pandemic has been identified in China by scientists.',
    'question': 'What has been discovered by scientists from China ?'
})
# 輸出:
{'answer': 'A new strain of flu', 'end': 19, 'score': 0.8650811568752914, 'start': 0}

✨ 主要特性

• 高效預訓練：ELECTRA是一種用於自監督語言表徵學習的新方法，能以相對較少的計算資源預訓練Transformer網絡。
• 處理複雜問答：SQuAD2.0數據集包含大量可回答和不可回答的問題，模型需要判斷何時無法從段落中找到答案並放棄回答。

📦 安裝指南

模型在Tesla P100 GPU和25GB內存的環境下，使用以下命令進行訓練：

python transformers/examples/question-answering/run_squad.py \
  --model_type electra \
  --model_name_or_path 'google/electra-small-discriminator' \
  --do_eval \
  --do_train \
  --do_lower_case \
  --train_file '/content/dataset/train-v2.0.json' \
  --predict_file '/content/dataset/dev-v2.0.json' \
  --per_gpu_train_batch_size 16 \
  --learning_rate 3e-5 \
  --num_train_epochs 10 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir '/content/output' \
  --overwrite_output_dir \
  --save_steps 1000 \
  --version_2_with_negative

📚 詳細文檔

下游任務詳情 - 模型 🧠

ELECTRA 是一種用於自監督語言表徵學習的新方法，它可以用相對較少的計算資源來預訓練Transformer網絡。ELECTRA模型通過訓練來區分“真實”輸入標記和由另一個神經網絡生成的“虛假”輸入標記，類似於 生成對抗網絡（GAN） 中的判別器。在小規模情況下，即使在單個GPU上進行訓練，ELECTRA也能取得不錯的效果。在大規模情況下，ELECTRA在 SQuAD 2.0 數據集上取得了最先進的結果。

下游任務詳情 - 數據集 📚

SQuAD2.0 將SQuAD1.1中的100,000個問題與超過50,000個由眾包工作者對抗性編寫的無法回答的問題相結合，這些問題看起來與可回答的問題相似。要在SQuAD2.0上表現良好，系統不僅要在可能的情況下回答問題，還要判斷段落中何時不支持答案並放棄回答。

📦 測試集結果 🧾

以下是詳細的JSON格式測試結果：

{
'exact': 69.71279373368147,
'f1': 73.4439546123672,
'total': 11873,
'HasAns_exact': 69.92240215924427,
'HasAns_f1': 77.39542393937836,
'HasAns_total': 5928,
'NoAns_exact': 69.50378469301934,
'NoAns_f1': 69.50378469301934,
'NoAns_total': 5945,
'best_exact': 69.71279373368147,
'best_exact_thresh': 0.0,
'best_f1': 73.44395461236732,
'best_f1_thresh': 0.0
}

📄 許可證

本項目採用Apache-2.0許可證。

由 Manuel Romero/@mrm8488 創建 | 領英

於西班牙用心打造 ♥