🚀 RoBERTa-base在SQuAD v1上微調模型
該模型基於HuggingFace的RoBERTa基礎檢查點,在SQuAD1.1數據集上進行了微調。此模型區分大小寫,例如“english”和“English”會被視為不同。
🚀 快速開始
該模型是在SQuAD1.1數據集上對RoBERTa-base進行微調得到的,可用於問答任務。
✨ 主要特性
- 基於RoBERTa-base模型進行微調,在SQuAD v1數據集上有良好表現。
- 模型區分大小寫,能更精準地處理文本。
📦 安裝指南
在使用該模型前,需要安裝相關依賴,可參考以下步驟:
# 安裝https://github.com/huggingface/transformers
cd examples/question-answering
mkdir -p data
wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json
wget -O data/dev-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json
💻 使用示例
基礎用法
from transformers import pipeline
qa_pipeline = pipeline(
"question-answering",
model="csarron/roberta-base-squad-v1",
tokenizer="csarron/roberta-base-squad-v1"
)
predictions = qa_pipeline({
'context': "The game was played on February 7, 2016 at Levi's Stadium in the San Francisco Bay Area at Santa Clara, California.",
'question': "What day was the game played on?"
})
print(predictions)
📚 詳細文檔
數據集詳情
數據集 |
劃分 |
樣本數量 |
SQuAD1.1 |
訓練集 |
96.8K |
SQuAD1.1 |
評估集 |
11.8k |
微調詳情
- Python版本:
3.7.5
- 機器規格:
CPU
:Intel(R) Core(TM) i7 - 6800K CPU @ 3.40GHz
內存
:32 GiB
GPU
:2塊GeForce GTX 1070,每塊顯存8GiB
GPU驅動
:418.87.01,CUDA:10.1
- 腳本:
# 安裝https://github.com/huggingface/transformers之後
cd examples/question-answering
mkdir -p data
wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json
wget -O data/dev-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json
python run_energy_squad.py \
--model_type roberta \
--model_name_or_path roberta-base \
--do_train \
--do_eval \
--train_file train-v1.1.json \
--predict_file dev-v1.1.json \
--per_gpu_train_batch_size 12 \
--per_gpu_eval_batch_size 16 \
--learning_rate 3e-5 \
--num_train_epochs 2.0 \
--max_seq_length 320 \
--doc_stride 128 \
--data_dir data \
--output_dir data/roberta-base-squad-v1 2>&1 | tee train-roberta-base-squad-v1.log
微調大約耗時2小時。
結果
模型大小:477M
請注意,上述結果未進行任何超參數搜索。
📄 許可證
本項目採用MIT許可證。
由Qingqing Cao創建 | GitHub | Twitter
於紐約用心打造。