Spanbert Large Finetuned Tacred

🚀 SpanBERT large在TACRED上微调模型

本项目使用由Facebook Research创建的SpanBERT模型，并在他们提供的TACRED数据集上进行了微调。该模型在关系抽取任务上有出色表现，为相关研究和应用提供了有力支持。

🚀 快速开始

本项目使用在TACRED数据集上微调的SpanBERT large模型，你可以按照以下步骤进行操作：

1. 获取微调脚本：可从这里获取。
2. 运行微调命令：使用以下命令进行模型微调。

python code/run_tacred.py \
  --do_train \
  --do_eval \
  --data_dir <TACRED_DATA_DIR> \
  --model spanbert-large-cased \
  --train_batch_size 32 \
  --eval_batch_size 32 \
  --learning_rate 2e-5 \
  --num_train_epochs 10 \
  --max_seq_length 128 \
  --output_dir tacred_dir \
  --fp16

✨ 主要特性

• 强大的预训练模型：基于SpanBERT，通过表示和预测跨度来改进预训练，在多个任务上有良好表现。
• 特定数据集微调：在TACRED数据集上进行微调，该数据集是大规模关系抽取数据集，包含106k+示例，涵盖42种TAC KBP关系类型。

📚 详细文档

SpanBERT详情

SpanBERT: Improving Pre-training by Representing and Predicting Spans 详细介绍了SpanBERT模型的原理和预训练方法。

数据集

TACRED 是一个大规模关系抽取数据集，拥有106k+示例，覆盖42种TAC KBP关系类型。

模型微调

你可以从这里获取微调脚本，并使用以下命令进行微调：

python code/run_tacred.py \
  --do_train \
  --do_eval \
  --data_dir <TACRED_DATA_DIR> \
  --model spanbert-large-cased \
  --train_batch_size 32 \
  --eval_batch_size 32 \
  --learning_rate 2e-5 \
  --num_train_epochs 10 \
  --max_seq_length 128 \
  --output_dir tacred_dir \
  --fp16

结果对比

注意：标记为 * 的数字是在开发集上评估的，因为这些模型未提交到官方SQuAD排行榜。其他数字是测试集上的结果。

由 Manuel Romero/@mrm8488 创建

于西班牙用心打造