Mobilebert Uncased Finetuned Squadv1

🚀 MobileBERT + SQuAD (v1.1) 📱❓

mobilebert-uncased 在 SQUAD v2.0 數據集 上進行了微調，用於 問答 下游任務。該模型能高效處理問答任務，為相關應用提供有力支持。

🚀 快速開始

你可以使用以下代碼快速調用該模型進行問答任務：

from transformers import pipeline
QnA_pipeline = pipeline('question-answering', model='mrm8488/mobilebert-uncased-finetuned-squadv1')
QnA_pipeline({
    'context': 'A new strain of flu that has the potential to become a pandemic has been identified in China by scientists.',
    'question': 'Who did identified it ?'
    })
    
# Output: {'answer': 'scientists.', 'end': 106, 'score': 0.7885545492172241, 'start': 96}

✨ 主要特性

• 輕量級設計：MobileBERT 是 BERT_LARGE 的精簡版本，配備了瓶頸結構，並在自注意力機制和前饋網絡之間進行了精心設計的平衡。
• 快速收斂：該模型比其他模型收斂速度快得多，微調成本也較低。

📦 安裝指南

模型的訓練命令如下，你可以根據此命令進行模型的訓練和微調：

python transformers/examples/question-answering/run_squad.py \
  --model_type bert \
  --model_name_or_path 'google/mobilebert-uncased' \
  --do_eval \
  --do_train \
  --do_lower_case \
  --train_file '/content/dataset/train-v1.1.json' \
  --predict_file '/content/dataset/dev-v1.1.json' \
  --per_gpu_train_batch_size 16 \
  --learning_rate 3e-5 \
  --num_train_epochs 5 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir '/content/output' \
  --overwrite_output_dir \
  --save_steps 1000

📚 詳細文檔

🔍 下游任務詳情 - 模型 🧠

MobileBERT 是 BERT_LARGE 的精簡版本，它配備了瓶頸結構，並在自注意力機制和前饋網絡之間進行了精心設計的平衡。這裡使用的檢查點是原始的 MobileBert 優化無大小寫英文檢查點：(uncased_L-24_H-128_B-512_A-4_F-4_OPT)。更多關於該模型的信息請參考 這裡。

🔍 下游任務詳情 - 數據集 📚

斯坦福問答數據集（SQuAD） 是一個閱讀理解數據集，由眾包工作者針對一組維基百科文章提出的問題組成。每個問題的答案都是對應閱讀段落中的一段文本，或者該問題可能無法回答。SQuAD v1.1 包含 500+ 篇文章的 100,000+ 個問答對。

🔧 技術細節

🏋️‍ 模型訓練

該模型在 Tesla P100 GPU 和 25GB 內存上進行訓練。其收斂速度比其他模型快得多，因此微調成本也較低。

🧾 測試集結果

📄 許可證

文檔未提及相關信息，故跳過該章節。

由 Manuel Romero/@mrm8488 創建 | 領英

於西班牙用心打造 ♥