Bert Base Uncased Squad V1

🚀 BERT-base uncasedモデルをSQuAD v1でファインチューニング

このモデルは、HuggingFaceのBERT base uncasedチェックポイントをSQuAD1.1でファインチューニングしたものです。このモデルは大文字小文字を区別しません。つまり、englishとEnglishは同じとみなされます。

📚 ドキュメント

ファインチューニング

• Python: 3.7.5

• マシン仕様:

  CPU: Intel(R) Core(TM) i7-6800K CPU @ 3.40GHz

  メモリ: 32 GiB

  GPU: 2 GeForce GTX 1070、各8GiBメモリ

  GPUドライバ: 418.87.01、CUDA: 10.1

• スクリプト:

  # https://github.com/huggingface/transformersをインストールした後
  
  cd examples/question-answering
  mkdir -p data
  
  wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json
  
  wget -O data/dev-v1.1.json  https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json
  
  python run_squad.py \
    --model_type bert \
    --model_name_or_path bert-base-uncased \
    --do_train \
    --do_eval \
    --do_lower_case \
    --train_file train-v1.1.json \
    --predict_file dev-v1.1.json \
    --per_gpu_train_batch_size 12 \
    --per_gpu_eval_batch_size=16 \
    --learning_rate 3e-5 \
    --num_train_epochs 2.0 \
    --max_seq_length 320 \
    --doc_stride 128 \
    --data_dir data \
    --output_dir data/bert-base-uncased-squad-v1 2>&1 | tee train-energy-bert-base-squad-v1.log
  

  完了まで約2時間かかりました。

結果

モデルサイズ: 418M

上記の結果にはハイパーパラメータの探索は含まれていません。

💻 使用例

基本的な使用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="csarron/bert-base-uncased-squad-v1",
    tokenizer="csarron/bert-base-uncased-squad-v1"
)

predictions = qa_pipeline({
    'context': "The game was played on February 7, 2016 at Levi's Stadium in the San Francisco Bay Area at Santa Clara, California.",
    'question': "What day was the game played on?"
})

print(predictions)
# 出力:
# {'score': 0.8730505704879761, 'start': 23, 'end': 39, 'answer': 'February 7, 2016'}

Qingqing Caoによって作成 | GitHub | Twitter

ニューヨークで❤️を込めて作られました。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。