Bert Base Cased Squad V1

🚀 BERT-base-casedを用いた質問応答タスク

BERT-base-casedは英語の言語モデルで、主に抽出型の質問応答タスクに使用されます。このモデルはSQuAD v1データセットを用いて訓練と評価が行われ、質問応答タスクで良好な性能を発揮します。また、このドキュメントでは使用例と関連するコードのリンクも提供されています。

🚀 クイックスタート

transformersライブラリを使ってこのモデルを呼び出し、質問応答タスクを行うことができます。具体的なコードはこちらの例を参照してください。

✨ 主な機能

• 言語モデル：bert-base-cased
• 対応言語：英語
• 下流タスク：抽出型質問応答

📦 インストール

ドキュメントでは具体的なインストール手順が提供されていません。コードリポジトリの例を参考にインストールしてください。

💻 使用例

基本的な使用法

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "batterydata/bert-base-cased-squad-v1"
# a) Get predictions
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
QA_input = {
    'question': 'What is the electrolyte?',
    'context': 'The typical non-aqueous electrolyte for commercial Li-ion cells is a solution of LiPF6 in linear and cyclic carbonates.'
}
res = nlp(QA_input)
# b) Load model & tokenizer
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

📚 ドキュメント

訓練と評価データ

ハイパーパラメータ

batch_size = 32
n_epochs = 2
base_LM_model = "bert-base-cased"
max_seq_len = 386
learning_rate = 5e-5
doc_stride=128
max_query_length=64

性能評価

SQuAD v1.0開発セットでの評価結果：

"exact": 81.30,
"f1": 88.58,

電池機器データセットでの評価結果：

"precision": 67.02,
"recall": 80.15,

🔧 技術詳細

このモデルは8x DGX A100を使用して訓練され、適切なハイパーパラメータを設定することで、質問応答タスクで良好な結果を得ています。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。

👥 作者情報

• Shu Huang: sh2009 [at] cam.ac.uk
• Jacqueline Cole: jmc61 [at] cam.ac.uk

📖 引用情報

BatteryBERT: A Pre-trained Language Model for Battery Database Enhancement