Spanbert Large Finetuned Tacred

🚀 SpanBERT large在TACRED上微調模型

本項目使用由Facebook Research創建的SpanBERT模型，並在他們提供的TACRED數據集上進行了微調。該模型在關係抽取任務上有出色表現，為相關研究和應用提供了有力支持。

🚀 快速開始

本項目使用在TACRED數據集上微調的SpanBERT large模型，你可以按照以下步驟進行操作：

1. 獲取微調腳本：可從這裡獲取。
2. 運行微調命令：使用以下命令進行模型微調。

python code/run_tacred.py \
  --do_train \
  --do_eval \
  --data_dir <TACRED_DATA_DIR> \
  --model spanbert-large-cased \
  --train_batch_size 32 \
  --eval_batch_size 32 \
  --learning_rate 2e-5 \
  --num_train_epochs 10 \
  --max_seq_length 128 \
  --output_dir tacred_dir \
  --fp16

✨ 主要特性

• 強大的預訓練模型：基於SpanBERT，通過表示和預測跨度來改進預訓練，在多個任務上有良好表現。
• 特定數據集微調：在TACRED數據集上進行微調，該數據集是大規模關係抽取數據集，包含106k+示例，涵蓋42種TAC KBP關係類型。

📚 詳細文檔

SpanBERT詳情

SpanBERT: Improving Pre-training by Representing and Predicting Spans 詳細介紹了SpanBERT模型的原理和預訓練方法。

數據集

TACRED 是一個大規模關係抽取數據集，擁有106k+示例，覆蓋42種TAC KBP關係類型。

模型微調

你可以從這裡獲取微調腳本，並使用以下命令進行微調：

python code/run_tacred.py \
  --do_train \
  --do_eval \
  --data_dir <TACRED_DATA_DIR> \
  --model spanbert-large-cased \
  --train_batch_size 32 \
  --eval_batch_size 32 \
  --learning_rate 2e-5 \
  --num_train_epochs 10 \
  --max_seq_length 128 \
  --output_dir tacred_dir \
  --fp16

結果對比

注意：標記為 * 的數字是在開發集上評估的，因為這些模型未提交到官方SQuAD排行榜。其他數字是測試集上的結果。

由 Manuel Romero/@mrm8488 創建

於西班牙用心打造