Mobilebert Uncased Squad V2

🚀 MobileBERTをSQuAD v2でファインチューニング

本プロジェクトは、MobileBERTをSQuAD v2データセットでファインチューニングし、質問応答タスクに使用するものです。MobileBERTはBERT_LARGEの軽量化バージョンで、ボトルネック構造を備え、自己注意機構とフィードフォワードネットワークのバランスが巧みに設計されています。

🚀 クイックスタート

コード例

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="csarron/mobilebert-uncased-squad-v2",
    tokenizer="csarron/mobilebert-uncased-squad-v2"
)

predictions = qa_pipeline({
    'context': "The game was played on February 7, 2016 at Levi's Stadium in the San Francisco Bay Area at Santa Clara, California.",
    'question': "What day was the game played on?"
})

print(predictions)
# 出力:
# {'score': 0.71434086561203, 'start': 23, 'end': 39, 'answer': 'February 7, 2016'}

✨ 主な機能

• モデルの軽量化：MobileBERTはBERT_LARGEの軽量化バージョンで、性能を維持しつつモデルサイズを削減しています。
• ファインチューニングの最適化：SQuAD v2データセットでファインチューニングされており、質問応答タスクに適しています。

📦 インストール

環境要件

• Python: 3.7.5
• マシン構成：
  • CPU: Intel(R) Core(TM) i7 - 6800K CPU @ 3.40GHz
  • メモリ: 32 GiB
  • GPU: 2 GeForce GTX 1070、各GPUのメモリ8GiB
  • GPUドライバ: 418.87.01、CUDA: 10.1

インストール手順

# インストールhttps://github.com/huggingface/transformers
cd examples/question-answering
mkdir -p data

wget -O data/train-v2.0.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v2.0.json

wget -O data/dev-v2.0.json  https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v2.0.json

export SQUAD_DIR=`pwd`/data

python run_squad.py \
  --model_type mobilebert \
  --model_name_or_path google/mobilebert-uncased \
  --do_train \
  --do_eval \
  --do_lower_case \
  --version_2_with_negative \
  --train_file $SQUAD_DIR/train-v2.0.json \
  --predict_file $SQUAD_DIR/dev-v2.0.json \
  --per_gpu_train_batch_size 16 \
  --per_gpu_eval_batch_size 16 \
  --learning_rate 4e-5 \
  --num_train_epochs 5.0 \
  --max_seq_length 320 \
  --doc_stride 128 \
  --warmup_steps 1400 \
  --save_steps 2000 \
  --output_dir $SQUAD_DIR/mobilebert-uncased-warmup-squad_v2 2>&1 | tee train-mobilebert-warmup-squad_v2.log

ファインチューニングには約3.5時間かかります。

📚 ドキュメント

データセット詳細

ファインチューニング結果

上記の結果は、任何のハイパーパラメータ探索を行っていないことに注意してください。

📄 ライセンス

本プロジェクトはMITライセンスを採用しています。

Qingqing Cao によって作成 | GitHub | Twitter

ニューヨークで心を込めて作られました。