Batterybert Cased Squad V1

🚀 用於問答的BatteryBERT-cased

BatteryBERT-cased是一個用於問答任務的語言模型，基於英文數據訓練，可用於抽取式問答，在相關數據集上有良好表現。

🚀 快速開始

BatteryBERT-cased是專門為問答任務設計的語言模型，可用於抽取式問答任務。你可以參考以下代碼示例進行使用。

✨ 主要特性

• 語言模型：batterybert-cased
• 語言：英文
• 下游任務：抽取式問答
• 訓練數據：SQuAD v1
• 評估數據：SQuAD v1
• 代碼：查看 示例
• 基礎設施：8x DGX A100

📦 安裝指南

文檔未提供具體安裝步驟，可參考代碼倉庫中的說明進行安裝。

💻 使用示例

基礎用法

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "batterydata/batterybert-cased-squad-v1"
# a) Get predictions
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
QA_input = {
    'question': 'What is the electrolyte?',
    'context': 'The typical non-aqueous electrolyte for commercial Li-ion cells is a solution of LiPF6 in linear and cyclic carbonates.'
}
res = nlp(QA_input)
# b) Load model & tokenizer
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

📚 詳細文檔

超參數

batch_size = 16
n_epochs = 4
base_LM_model = "batterybert-cased"
max_seq_len = 386
learning_rate = 2e-5
doc_stride=128
max_query_length=64

性能表現

在SQuAD v1.0開發集上的評估結果：

"exact": 81.54,
"f1": 89.16,

在電池設備數據集上的評估結果：

"precision": 70.74,
"recall": 84.19,

🔧 技術細節

文檔未提供具體技術細節。

📄 許可證

本項目採用Apache-2.0許可證。

👥 作者

• Shu Huang: sh2009 [at] cam.ac.uk
• Jacqueline Cole: jmc61 [at] cam.ac.uk

📚 引用

BatteryBERT: A Pre-trained Language Model for Battery Database Enhancement