Wangchanberta Base Wiki 20210520 Spm Finetune Qa

🚀 wangchanberta-base-wiki-20210520-spm-finetune-qa

本項目對 airesearchth/wangchanberta-base-wiki-20210520-spmd 進行微調，使用了 iapp_wiki_qa_squad、thaiqa_squad 和 nsc_qa 這三個訓練集（移除了與驗證集和測試集餘弦相似度超過 0.8 的示例；後兩個數據集的上下文被裁剪至約 300 個 newmm 詞）。使用 iapp_wiki_qa_squad 的驗證集和測試集在 wandb 上進行了基準測試。

本項目使用 thai2transformers 進行訓練。

🚀 快速開始

運行命令

export MODEL_NAME=airesearchth/wangchanberta-base-wiki-20210520-news-spm
CUDA_LAUNCH_BLOCKING=1 python train_question_answering_lm_finetuning.py \
  --model_name $MODEL_NAME \
  --dataset_name chimera_qa \
  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
  --model_max_length 400 \
  --pad_on_right \
  --fp16

💻 使用示例

基礎用法

# 上述運行命令即為基礎使用示例
export MODEL_NAME=airesearchth/wangchanberta-base-wiki-20210520-news-spm
CUDA_LAUNCH_BLOCKING=1 python train_question_answering_lm_finetuning.py \
  --model_name $MODEL_NAME \
  --dataset_name chimera_qa \
  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
  --model_max_length 400 \
  --pad_on_right \
  --fp16

高級用法

目前文檔未提供高級用法相關內容。若有更復雜的使用場景，可根據項目需求進一步調整訓練參數和數據集等。例如，可嘗試不同的 model_max_length 值，以適應不同長度的輸入文本。

# 示例：調整 model_max_length 為 500
export MODEL_NAME=airesearchth/wangchanberta-base-wiki-20210520-news-spm
CUDA_LAUNCH_BLOCKING=1 python train_question_answering_lm_finetuning.py \
  --model_name $MODEL_NAME \
  --dataset_name chimera_qa \
  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
  --model_max_length 500 \
  --pad_on_right \
  --fp16