Mobilebert Uncased Finetuned Squadv2

🚀 MobileBERT + SQuAD v2 📱❓

mobilebert-uncased 在 SQUAD v2.0 數據集 上進行微調，用於問答（Q&A）下游任務。

🚀 快速開始

本項目是將 mobilebert-uncased 在 SQUAD v2.0 數據集 上進行微調，以完成問答（Q&A）下游任務。

✨ 主要特性

• 模型精簡：MobileBERT 是 BERT_LARGE 的精簡版本，配備了瓶頸結構，並且在自注意力機制和前饋網絡之間進行了精心設計的平衡。
• 收斂快速：該模型比其他模型收斂速度快很多，微調成本較低。

📦 安裝指南

模型在 Tesla P100 GPU 和 25GB 內存上進行訓練，使用以下命令：

python transformers/examples/question-answering/run_squad.py \
  --model_type bert \
  --model_name_or_path 'google/mobilebert-uncased' \
  --do_eval \
  --do_train \
  --do_lower_case \
  --train_file '/content/dataset/train-v2.0.json' \
  --predict_file '/content/dataset/dev-v2.0.json' \
  --per_gpu_train_batch_size 16 \
  --learning_rate 3e-5 \
  --num_train_epochs 5 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir '/content/output' \
  --overwrite_output_dir \
  --save_steps 1000 \
  --version_2_with_negative

💻 使用示例

基礎用法

使用 pipelines 快速調用模型：

from transformers import pipeline
QnA_pipeline = pipeline('question-answering', model='mrm8488/mobilebert-uncased-finetuned-squadv2')
QnA_pipeline({
    'context': 'A new strain of flu that has the potential to become a pandemic has been identified in China by scientists.',
    'question': 'Who did identified it ?'
    })
    
# Output: {'answer': 'scientists.', 'end': 106, 'score': 0.41531604528427124, 'start': 96}

📚 詳細文檔

下游任務（問答）- 模型 🧠

MobileBERT 是 BERT_LARGE 的精簡版本，配備了瓶頸結構，並且在自注意力機制和前饋網絡之間進行了精心設計的平衡。

此處使用的檢查點是原始的 MobileBert 優化無大小寫英文檢查點：(uncased_L-24_H-128_B-512_A-4_F-4_OPT)。

更多關於該模型的信息請參考 這裡。

下游任務（問答）- 數據集 📚

SQuAD2.0 將 SQuAD1.1 中的 100,000 個問題與超過 50,000 個由眾包工作者對抗性編寫的無法回答的問題相結合，這些無法回答的問題在外觀上與可回答的問題相似。要在 SQuAD2.0 上取得好成績，系統不僅要在可能的情況下回答問題，還要確定段落何時不支持任何答案並放棄回答。

🔧 技術細節

模型在 Tesla P100 GPU 和 25GB 內存上進行訓練，使用特定命令進行微調。並且該模型收斂速度快，微調成本低。

📄 許可證

文檔未提及相關許可證信息。

📦 模型測試結果 🧾

本項目由 Manuel Romero/@mrm8488 創建 | LinkedIn

於西班牙用心打造 ♥