Biobert V1.1 Pubmed Squad V2

🚀 生物醫學問答模型

該模型基於預訓練模型進行微調，用於生物醫學領域的問答任務，可在給定段落中判斷是否存在答案並進行提取，在問答任務上有較好的表現。

📦 模型信息

模型基礎信息

monologg/biobert_v1.1_pubmed 模型在 SQuAD V2 數據集上進行了微調，微調腳本使用 run_squad.py。

此模型區分大小寫。

訓練參數

在 4 塊 NVIDIA GeForce RTX 2080 Ti 11Gb 顯卡上進行訓練。

BASE_MODEL=monologg/biobert_v1.1_pubmed
python run_squad.py \
  --version_2_with_negative \
  --model_type albert \
  --model_name_or_path $BASE_MODEL \
  --output_dir $OUTPUT_MODEL \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train-v2.0.json \
  --predict_file $SQUAD_DIR/dev-v2.0.json \
  --per_gpu_train_batch_size 18 \
  --per_gpu_eval_batch_size 64 \
  --learning_rate 3e-5 \
  --num_train_epochs 3.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --save_steps 2000 \
  --threads 24 \
  --warmup_steps 550 \
  --gradient_accumulation_steps 1 \
  --fp16 \
  --logging_steps 50 \
  --do_train

📊 評估結果

在驗證集上進行評估，未對最佳閾值進行搜索。

💻 使用示例

基礎用法

可參考 Hugging Face 文檔。在 SQuAD V2 上訓練的模型能夠判斷段落中是否包含答案：

start_scores, end_scores = model(input_ids) 
span_scores = start_scores.softmax(dim=1).log()[:,:,None] + end_scores.softmax(dim=1).log()[:,None,:]
ignore_score = span_scores[:,0,0] #no answer scores