Albert Xlarge Finetuned

🚀 アルバートモデルのSQuAD V2微調整

このプロジェクトでは、albert-xlarge-v2モデルをSQuAD V2データセットで微調整しています。これにより、質問応答タスクでの性能向上を図っています。

🚀 クイックスタート

本モデルは、albert-xlarge-v2をベースに、SQuAD V2データセットを用いて微調整されています。以下に、モデルの詳細とトレーニングパラメータ、評価結果、使用方法を示します。

✨ 主な機能

• 質問応答タスク対応：SQuAD V2データセットで微調整されたため、質問に対する回答を適切に生成できます。
• 回答の有無判定：文章に回答が含まれているかどうかをスコア付けできます。

📦 インストール

トレーニング環境

4台のNVIDIA GeForce RTX 2080 Ti 11Gbでトレーニングされました。

トレーニングコマンド

BASE_MODEL=albert-xlarge-v2
python run_squad.py \
  --version_2_with_negative \
  --model_type albert \
  --model_name_or_path $BASE_MODEL \
  --output_dir $OUTPUT_MODEL \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train-v2.0.json \
  --predict_file $SQUAD_DIR/dev-v2.0.json \
  --per_gpu_train_batch_size 3 \
  --per_gpu_eval_batch_size 64 \
  --learning_rate 3e-5 \
  --num_train_epochs 3.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --save_steps 2000 \
  --threads 24 \
  --warmup_steps 814 \
  --gradient_accumulation_steps 4 \
  --fp16 \
  --do_train

💻 使用例

基本的な使用法

SQuAD V2でのトレーニングにより、モデルは文章に回答が含まれているかどうかをスコア付けできます。

start_scores, end_scores = model(input_ids) 
span_scores = start_scores.softmax(dim=1).log()[:,:,None] + end_scores.softmax(dim=1).log()[:,None,:]
ignore_score = span_scores[:,0,0] #no answer scores

詳細な使用方法

詳細はhuggingface documentationを参照してください。

📚 ドキュメント

評価結果

開発セットでの評価結果です。最適な閾値の探索は行っていません。