Mobilebert Uncased Squad V1

🚀 MobileBERTをSQuAD v1でファインチューニングしたモデル

本プロジェクトは、MobileBERTモデルをベースに、SQuAD v1データセットでファインチューニングを行い、質問応答タスクに使用します。MobileBERTはBERT_LARGEの軽量化バージョンで、ボトルネック構造を採用し、自己注意機構とフィードフォワードネットワークを巧みにバランスさせています。

🚀 クイックスタート

モデルの紹介

MobileBERT はBERT_LARGEの軽量化版で、ボトルネック構造を持ち、自己注意機構とフィードフォワードネットワークのバランスが巧みに設計されています。

本モデルは、SQuAD1.1 データセット上で、HuggingFaceのチェックポイント google/mobilebert-uncased からファインチューニングされたものです。

📚 ドキュメント

データセットの詳細

ファインチューニングの詳細

• Pythonバージョン：3.7.5
• マシン構成：
  • CPU：Intel(R) Core(TM) i7 - 6800K CPU @ 3.40GHz
  • メモリ：32 GiB
  • GPU：2台のGeForce GTX 1070、各GPUのメモリは8GiB
  • GPUドライバ：418.87.01、CUDA：10.1
• スクリプトコマンド：

# https://github.com/huggingface/transformers をインストールした後
cd examples/question-answering
mkdir -p data

wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json

wget -O data/dev-v1.1.json  https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json

export SQUAD_DIR=`pwd`/data

python run_squad.py \
    --model_type mobilebert \
    --model_name_or_path google/mobilebert-uncased \
    --do_train \
    --do_eval \
    --do_lower_case \
    --train_file $SQUAD_DIR/train-v1.1.json \
    --predict_file $SQUAD_DIR/dev-v1.1.json \
    --per_gpu_train_batch_size 16 \
    --per_gpu_eval_batch_size 16 \
    --learning_rate 4e-5 \
    --num_train_epochs 5.0 \
    --max_seq_length 320 \
    --doc_stride 128 \
    --warmup_steps 1400 \
    --output_dir $SQUAD_DIR/mobilebert-uncased-warmup-squad_v1 2>&1 | tee train-mobilebert-warmup-squad_v1.log

ファインチューニングには約3時間かかります。

モデルの性能

モデルサイズ：95M

なお、上記の結果は、どのようなハイパーパラメータ探索も行っていません。

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="csarron/mobilebert-uncased-squad-v1",
    tokenizer="csarron/mobilebert-uncased-squad-v1"
)

predictions = qa_pipeline({
    'context': "The game was played on February 7, 2016 at Levi's Stadium in the San Francisco Bay Area at Santa Clara, California.",
    'question': "What day was the game played on?"
})

print(predictions)
# 出力:
# {'score': 0.7754058241844177, 'start': 23, 'end': 39, 'answer': 'February 7, 2016'}

Qingqing Cao によって作成 | GitHub | Twitter

ニューヨークで愛を込めて作られました ❤️

📄 ライセンス

本プロジェクトはMITライセンスを採用しています。