Bert Base Spanish Wwm Cased Finetuned Spa Squad2 Es

🚀 BETO (Spanish BERT) + Spanish SQuAD2.0

このモデルはBETOチームによって提供され、質問応答（Q&A） の下流タスク用にSQuAD-es-v2.0でファインチューニングされています。

📚 言語モデルの詳細 ('dccuchile/bert-base-spanish-wwm-cased')

言語モデル ('dccuchile/bert-base-spanish-wwm-cased'):

BETOは、大規模なスペイン語コーパスを使って学習されたBERTモデルです。BETOはBERT-Baseと同程度のサイズで、Whole Word Masking技術を用いて学習されました。以下に、小文字化されたバージョンと大文字小文字を区別するバージョンのTensorflowとPytorchのチェックポイント、およびBETOをMultilingual BERTや他の（BERTベースではない）モデルと比較したスペイン語ベンチマークの結果を示します。

📊 下流タスク（Q&A）の詳細 - データセット

SQuAD-es-v2.0

🚂 モデルの学習

このモデルは、Tesla P100 GPUと25GBのRAMを使用して、以下のコマンドで学習されました。

export SQUAD_DIR=path/to/nl_squad
python transformers/examples/question-answering/run_squad.py \
  --model_type bert \
  --model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
  --do_train \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train_nl-v2.0.json \
  --predict_file $SQUAD_DIR/dev_nl-v2.0.json \
  --per_gpu_train_batch_size 12 \
  --learning_rate 3e-5 \
  --num_train_epochs 2.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir /content/model_output \
  --save_steps 5000 \
  --threads 4 \
  --version_2_with_negative 

📈 結果

{
  "exact": 76.50501430594491,
  "f1": 86.07818773108252,
  "total": 69202,
  "HasAns_exact": 67.93020719738277,
  "HasAns_f1": 82.37912207996466,
  "HasAns_total": 45850,
  "NoAns_exact": 93.34104145255225,
  "NoAns_f1": 93.34104145255225,
  "NoAns_total": 23352,
  "best_exact": 76.51223953064941,
  "best_exact_thresh": 0.0,
  "best_f1": 86.08541295578848,
  "best_f1_thresh": 0.0
}

💻 モデルの実行例（Colab Notebookで）

Created by Manuel Romero/@mrm8488

Made with ♥ in Spain