Wangchanberta Base Att Spm Uncased Finetune Qa

🚀 airesearch/wangchanberta-base-att-spm-uncased

airesearch/wangchanberta-base-att-spm-uncased 這個模型使用了 iapp_wiki_qa_squad、thaiqa_squad 和 nsc_qa 的訓練集進行微調。其中，移除了與驗證集和測試集餘弦相似度超過 0.8 的示例，並且後兩個數據集的上下文被修剪至約 300 個 newmm 詞。使用 iapp_wiki_qa_squad 的驗證集和測試集在 wandb 上進行了基準測試。

該模型使用 thai2transformers 進行訓練。

🚀 快速開始

運行命令

export MODEL_NAME=airesearch/wangchanberta-base-att-spm-uncased
python train_question_answering_lm_finetuning.py \
  --model_name $MODEL_NAME \
  --dataset_name chimera_qa \
  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
  --lowercase \
  --pad_on_right \
  --fp16

💻 使用示例

基礎用法

# 定義模型名稱
export MODEL_NAME=airesearch/wangchanberta-base-att-spm-uncased
# 運行訓練腳本
python train_question_answering_lm_finetuning.py \
  --model_name $MODEL_NAME \
  --dataset_name chimera_qa \
  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
  --lowercase \
  --pad_on_right \
  --fp16

高級用法

# 可以根據實際需求調整其他參數，例如修改學習率、批次大小等
export MODEL_NAME=airesearch/wangchanberta-base-att-spm-uncased
python train_question_answering_lm_finetuning.py \
  --model_name $MODEL_NAME \
  --dataset_name chimera_qa \
  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
  --lowercase \
  --pad_on_right \
  --fp16 \
  --learning_rate 1e-5 \
  --per_device_train_batch_size 16

補充信息

問題與上下文示例