Distilbert Base Squad2 Custom Dataset

🚀 “Save Your Minutes”問答模型（來自Dobby - AI）

本模型基於Distilbert_Base，在SQuAD2.0和自定義問答數據集上進行了微調。它解決了特定場景下的問答需求，通過在額外數據集上的訓練，能夠提供更精準、更貼合實際的問答服務，為用戶節省時間和精力。

🚀 快速開始

本模型是在[twmkn9/distilbert-base-uncased-squad2]的基礎上，在額外的自定義數據集上進行訓練得到的。以下是訓練模型的命令：

!python3 run_squad.py  --model_type distilbert \
                        --model_name_or_path /content/distilbert_base_384 \
                        --do_lower_case \
                        --output_dir /content/model/\
                        --do_train \
                        --train_file $data_dir/additional_qa.json\
                        --version_2_with_negative \
                        --do_lower_case \
                        --num_train_epochs 3 \
                        --weight_decay 0.01 \
                        --learning_rate 3e-5 \
                        --max_grad_norm 0.5 \
                        --adam_epsilon 1e-6 \
                        --max_seq_length 512 \
                        --doc_stride 128 \
                        --threads 12 \
                        --logging_steps 50 \
                        --save_steps 1000 \
                        --overwrite_output_dir \
                        --per_gpu_train_batch_size 4

我們使用Google Colab進行模型訓練。

🔧 技術細節

本模型基於Distilbert_Base，這是一種輕量級的預訓練語言模型，具有較高的效率和性能。在訓練過程中，我們使用了SQuAD2.0數據集以及額外的自定義問答數據集。通過在這些數據集上進行微調，模型能夠更好地適應特定的問答任務。訓練過程中使用了一系列的超參數，如學習率、訓練輪數等，這些參數的選擇經過了精心的調整，以確保模型的性能達到最優。同時，我們還使用了一些正則化技術，如權重衰減，以防止模型過擬合。