Distilbert Base Squad2 Custom Dataset

🚀 Dobby-AIの「Save Your Minutes」用質疑応答モデル

このモデルは、SQuAD2.0と独自のQAデータセットでファインチューニングされたDistilbert_Baseモデルです。具体的には、[twmkn9/distilbert-base-uncased-squad2]をベースに、追加の独自データセットで学習を行っています。

🚀 クイックスタート

モデルの学習

このモデルは、以下のコマンドを使用して追加の独自データセットで学習されました。学習にはGoogle Colabを使用しています。

!python3 run_squad.py  --model_type distilbert \
                        --model_name_or_path /content/distilbert_base_384 \
                        --do_lower_case \
                        --output_dir /content/model/\
                        --do_train \
                        --train_file $data_dir/additional_qa.json\
                        --version_2_with_negative \
                        --do_lower_case \
                        --num_train_epochs 3 \
                        --weight_decay 0.01 \
                        --learning_rate 3e-5 \
                        --max_grad_norm 0.5 \
                        --adam_epsilon 1e-6 \
                        --max_seq_length 512 \
                        --doc_stride 128 \
                        --threads 12 \
                        --logging_steps 50 \
                        --save_steps 1000 \
                        --overwrite_output_dir \
                        --per_gpu_train_batch_size 4