🚀 RoBERTa-base在SQuAD v1上微调模型
该模型基于HuggingFace的RoBERTa基础检查点,在SQuAD1.1数据集上进行了微调。此模型区分大小写,例如“english”和“English”会被视为不同。
🚀 快速开始
该模型是在SQuAD1.1数据集上对RoBERTa-base进行微调得到的,可用于问答任务。
✨ 主要特性
- 基于RoBERTa-base模型进行微调,在SQuAD v1数据集上有良好表现。
- 模型区分大小写,能更精准地处理文本。
📦 安装指南
在使用该模型前,需要安装相关依赖,可参考以下步骤:
# 安装https://github.com/huggingface/transformers
cd examples/question-answering
mkdir -p data
wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json
wget -O data/dev-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json
💻 使用示例
基础用法
from transformers import pipeline
qa_pipeline = pipeline(
"question-answering",
model="csarron/roberta-base-squad-v1",
tokenizer="csarron/roberta-base-squad-v1"
)
predictions = qa_pipeline({
'context': "The game was played on February 7, 2016 at Levi's Stadium in the San Francisco Bay Area at Santa Clara, California.",
'question': "What day was the game played on?"
})
print(predictions)
📚 详细文档
数据集详情
数据集 |
划分 |
样本数量 |
SQuAD1.1 |
训练集 |
96.8K |
SQuAD1.1 |
评估集 |
11.8k |
微调详情
- Python版本:
3.7.5
- 机器规格:
CPU
:Intel(R) Core(TM) i7 - 6800K CPU @ 3.40GHz
内存
:32 GiB
GPU
:2块GeForce GTX 1070,每块显存8GiB
GPU驱动
:418.87.01,CUDA:10.1
- 脚本:
# 安装https://github.com/huggingface/transformers之后
cd examples/question-answering
mkdir -p data
wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json
wget -O data/dev-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json
python run_energy_squad.py \
--model_type roberta \
--model_name_or_path roberta-base \
--do_train \
--do_eval \
--train_file train-v1.1.json \
--predict_file dev-v1.1.json \
--per_gpu_train_batch_size 12 \
--per_gpu_eval_batch_size 16 \
--learning_rate 3e-5 \
--num_train_epochs 2.0 \
--max_seq_length 320 \
--doc_stride 128 \
--data_dir data \
--output_dir data/roberta-base-squad-v1 2>&1 | tee train-roberta-base-squad-v1.log
微调大约耗时2小时。
结果
模型大小:477M
请注意,上述结果未进行任何超参数搜索。
📄 许可证
本项目采用MIT许可证。
由Qingqing Cao创建 | GitHub | Twitter
于纽约用心打造。