Roberta Base Squad V1

🚀 RoBERTa-base在SQuAD v1上微调模型

该模型基于HuggingFace的RoBERTa基础检查点，在SQuAD1.1数据集上进行了微调。此模型区分大小写，例如“english”和“English”会被视为不同。

🚀 快速开始

该模型是在SQuAD1.1数据集上对RoBERTa-base进行微调得到的，可用于问答任务。

✨ 主要特性

• 基于RoBERTa-base模型进行微调，在SQuAD v1数据集上有良好表现。
• 模型区分大小写，能更精准地处理文本。

📦 安装指南

在使用该模型前，需要安装相关依赖，可参考以下步骤：

# 安装https://github.com/huggingface/transformers
cd examples/question-answering
mkdir -p data

wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json

wget -O data/dev-v1.1.json  https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json

💻 使用示例

基础用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="csarron/roberta-base-squad-v1",
    tokenizer="csarron/roberta-base-squad-v1"
)

predictions = qa_pipeline({
    'context': "The game was played on February 7, 2016 at Levi's Stadium in the San Francisco Bay Area at Santa Clara, California.",
    'question': "What day was the game played on?"
})

print(predictions)
# output:
# {'score': 0.8625259399414062, 'start': 23, 'end': 39, 'answer': 'February 7, 2016'}

📚 详细文档

数据集详情

微调详情

• Python版本：3.7.5
• 机器规格：
  • CPU：Intel(R) Core(TM) i7 - 6800K CPU @ 3.40GHz
  • 内存：32 GiB
  • GPU：2块GeForce GTX 1070，每块显存8GiB
  • GPU驱动：418.87.01，CUDA：10.1
• 脚本：

# 安装https://github.com/huggingface/transformers之后

cd examples/question-answering
mkdir -p data

wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json

wget -O data/dev-v1.1.json  https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json

python run_energy_squad.py \
    --model_type roberta \
    --model_name_or_path roberta-base \
    --do_train \
    --do_eval \
    --train_file train-v1.1.json \
    --predict_file dev-v1.1.json \
    --per_gpu_train_batch_size 12 \
    --per_gpu_eval_batch_size 16 \
    --learning_rate 3e-5 \
    --num_train_epochs 2.0 \
    --max_seq_length 320 \
    --doc_stride 128 \
    --data_dir data \
    --output_dir data/roberta-base-squad-v1 2>&1 | tee train-roberta-base-squad-v1.log

微调大约耗时2小时。

结果

模型大小：477M

请注意，上述结果未进行任何超参数搜索。

📄 许可证

本项目采用MIT许可证。

由Qingqing Cao创建 | GitHub | Twitter

于纽约用心打造。