Bert Base Uncased Squad V1

🚀 BERT-base uncased模型在SQuAD v1上微調

該模型是在HuggingFace的BERT基礎無大小寫檢查的檢查點上，針對SQuAD1.1數據集進行微調得到的。此模型不區分大小寫，即“english”和“English”對它來說沒有區別。

🚀 快速開始

此模型是從HuggingFace的BERT基礎無大小寫檢查的檢查點在SQuAD1.1上微調而來。該模型不區分大小寫。

✨ 主要特性

• 基於BERT基礎無大小寫檢查模型微調，適用於問答任務。
• 不區分大小寫，在處理文本時更加靈活。

📦 安裝指南

在使用該模型前，需要安裝相關依賴。可以通過以下步驟進行安裝：

# 安裝Hugging Face的transformers庫
pip install transformers

💻 使用示例

基礎用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="csarron/bert-base-uncased-squad-v1",
    tokenizer="csarron/bert-base-uncased-squad-v1"
)

predictions = qa_pipeline({
    'context': "The game was played on February 7, 2016 at Levi's Stadium in the San Francisco Bay Area at Santa Clara, California.",
    'question': "What day was the game played on?"
})

print(predictions)
# output:
# {'score': 0.8730505704879761, 'start': 23, 'end': 39, 'answer': 'February 7, 2016'}

📚 詳細文檔

數據集詳情

微調詳情

• Python版本：3.7.5
• 機器規格：
  • CPU：Intel(R) Core(TM) i7 - 6800K CPU @ 3.40GHz
  • 內存：32 GiB
  • GPU：2塊GeForce GTX 1070，每塊顯存8GiB
  • GPU驅動：418.87.01，CUDA：10.1
• 微調腳本：

# 在安裝https://github.com/huggingface/transformers之後
cd examples/question-answering
mkdir -p data

wget -O data/train-v1.1.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json

wget -O data/dev-v1.1.json  https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json

python run_squad.py \
    --model_type bert \
    --model_name_or_path bert-base-uncased \
    --do_train \
    --do_eval \
    --do_lower_case \
    --train_file train-v1.1.json \
    --predict_file dev-v1.1.json \
    --per_gpu_train_batch_size 12 \
    --per_gpu_eval_batch_size=16 \
    --learning_rate 3e-5 \
    --num_train_epochs 2.0 \
    --max_seq_length 320 \
    --doc_stride 128 \
    --data_dir data \
    --output_dir data/bert-base-uncased-squad-v1 2>&1 | tee train-energy-bert-base-squad-v1.log

微調大約需要2小時完成。

模型結果

模型大小：418M

需要注意的是，以上結果未進行任何超參數搜索。

🔧 技術細節

該模型基於BERT基礎無大小寫檢查模型，在SQuAD1.1數據集上進行微調。通過微調，模型能夠更好地處理問答任務。在微調過程中，使用了特定的訓練參數和腳本，以確保模型能夠學習到數據集中的語義信息。

📄 許可證

本項目採用MIT許可證。

由Qingqing Cao創建 | GitHub | Twitter

於紐約用心打造。