Scibert Scivocab Uncased Squad V2

🚀 科学分野の質問応答モデル

このプロジェクトは、事前学習済みモデルを微調整して、科学分野に適した質問応答モデルを構築しました。このモデルは特定のデータセットで学習され、科学文献に関連する質問応答タスクを効果的に処理でき、科学研究や知識探索に強力なサポートを提供します。

🚀 クイックスタート

このモデルは、事前学習済みモデル allenai/scibert_scivocab_uncased をベースに、SQuAD V2 データセットで微調整されています。微調整には run_squad.py スクリプトが使用されました。

📦 インストール

学習環境

4 台の NVIDIA GeForce RTX 2080 Ti 11Gb GPU 上で学習を行います。

学習コマンド

BASE_MODEL=allenai/scibert_scivocab_uncased
python run_squad.py \
  --version_2_with_negative \
  --model_type albert \
  --model_name_or_path $BASE_MODEL \
  --output_dir $OUTPUT_MODEL \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train-v2.0.json \
  --predict_file $SQUAD_DIR/dev-v2.0.json \
  --per_gpu_train_batch_size 18 \
  --per_gpu_eval_batch_size 64 \
  --learning_rate 3e-5 \
  --num_train_epochs 3.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --save_steps 2000 \
  --threads 24 \
  --warmup_steps 550 \
  --gradient_accumulation_steps 1 \
  --fp16 \
  --logging_steps 50 \
  --do_train

📚 ドキュメント

評価結果

開発セットで評価を行い、最適な閾値の探索は行っていません。

💻 使用例

基本的な使用法

huggingface ドキュメント を参照できます。SQuAD V2 で学習されたモデルは、段落に回答が含まれているかどうかを判断できます。

start_scores, end_scores = model(input_ids) 
span_scores = start_scores.softmax(dim=1).log()[:,:,None] + end_scores.softmax(dim=1).log()[:,None,:]
ignore_score = span_scores[:,0,0] #no answer scores