Albert Xlarge V2 Squad V2

🚀 ALBERT-XLARGE-V2微調問答模型

本項目是基於 albert-xlarge-v2 模型，在 SQuAD V2 數據集上進行微調得到的問答模型，使用 run_squad.py 腳本完成訓練。該模型可用於判斷段落中是否包含問題的答案。

🚀 快速開始

若你想使用本模型，可參考 huggingface文檔 。下面是一個簡單的使用示例，展示瞭如何使用模型來獲取答案的起始和結束分數：

start_scores, end_scores = model(input_ids) 
span_scores = start_scores.softmax(dim=1).log()[:,:,None] + end_scores.softmax(dim=1).log()[:,None,:]
ignore_score = span_scores[:,0,0] #no answer scores

📦 安裝指南

訓練環境

本模型在 4 塊 NVIDIA GeForce RTX 2080 Ti 11Gb GPU 上進行訓練。

訓練參數及命令

以下是訓練時使用的參數和命令：

BASE_MODEL=albert-xlarge-v2
python run_squad.py \
  --version_2_with_negative \
  --model_type albert \
  --model_name_or_path $BASE_MODEL \
  --output_dir $OUTPUT_MODEL \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train-v2.0.json \
  --predict_file $SQUAD_DIR/dev-v2.0.json \
  --per_gpu_train_batch_size 3 \
  --per_gpu_eval_batch_size 64 \
  --learning_rate 3e-5 \
  --num_train_epochs 3.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --save_steps 2000 \
  --threads 24 \
  --warmup_steps 814 \
  --gradient_accumulation_steps 4 \
  --fp16 \
  --do_train

📚 詳細文檔

評估結果

在驗證集上進行評估，未進行最佳閾值搜索。評估結果如下：