Bert Base Cased Squad V1

🚀 BERT-base-cased用於問答任務

BERT-base-cased是一個英文語言模型，主要用於抽取式問答任務。它基於SQuAD v1數據集進行訓練和評估，在問答任務上有著不錯的表現。同時，文檔還提供了使用示例和相關代碼鏈接。

🚀 快速開始

你可以參考代碼示例，使用transformers庫調用該模型進行問答任務。具體代碼可查看 示例。

✨ 主要特性

• 語言模型：bert-base-cased
• 適用語言：英文
• 下游任務：抽取式問答

📦 安裝指南

文檔未提供具體安裝步驟，可參考代碼倉庫 示例 進行安裝。

💻 使用示例

基礎用法

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "batterydata/bert-base-cased-squad-v1"
# a) Get predictions
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
QA_input = {
    'question': 'What is the electrolyte?',
    'context': 'The typical non-aqueous electrolyte for commercial Li-ion cells is a solution of LiPF6 in linear and cyclic carbonates.'
}
res = nlp(QA_input)
# b) Load model & tokenizer
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

📚 詳細文檔

訓練和評估數據

超參數

batch_size = 32
n_epochs = 2
base_LM_model = "bert-base-cased"
max_seq_len = 386
learning_rate = 5e-5
doc_stride=128
max_query_length=64

性能表現

在SQuAD v1.0開發集上的評估結果：

"exact": 81.30,
"f1": 88.58,

在電池設備數據集上的評估結果：

"precision": 67.02,
"recall": 80.15,

🔧 技術細節

模型使用8x DGX A100進行訓練，通過設置合適的超參數，在問答任務上取得了較好的效果。

📄 許可證

本項目採用Apache-2.0許可證。

👥 作者信息

• Shu Huang: sh2009 [at] cam.ac.uk
• Jacqueline Cole: jmc61 [at] cam.ac.uk

📖 引用信息

BatteryBERT: A Pre-trained Language Model for Battery Database Enhancement