Wangchanberta Base Att Spm Uncased Finetune Qa

🚀 airesearch/wangchanberta-base-att-spm-uncased

airesearch/wangchanberta-base-att-spm-uncased を、iapp_wiki_qa_squad、thaiqa_squad、および nsc_qa のトレーニングセットを使用してファインチューニングしたモデルです。検証セットとテストセットのコサイン類似度が0.8を超えるサンプルは削除し、後者2つのコンテキストは newmm で約300語にトリミングしています。ベンチマークは wandb で共有されています。

🚀 クイックスタート

airesearch/wangchanberta-base-att-spm-uncased は、thai2transformers を使用してトレーニングされています。以下のコマンドを実行することで、モデルを実行できます。

export MODEL_NAME=airesearch/wangchanberta-base-att-spm-uncased
python train_question_answering_lm_finetuning.py \
  --model_name $MODEL_NAME \
  --dataset_name chimera_qa \
  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
  --lowercase \
  --pad_on_right \
  --fp16