Bert Base Swedish Squad2

🚀 瑞典語BERT在SQuAD v2上的微調模型

該模型是瑞典語BERT在SQuAD v2上的微調檢查點，可用於問答任務，基於預訓練模型進一步優化以適配特定數據集。

✨ 主要特性

• 基於瑞典語BERT進行微調，能更好地處理瑞典語問答任務。
• 使用瑞典語翻譯的SQuAD v2數據集進行訓練。

📦 安裝指南

文檔未提供安裝步驟，跳過該章節。

💻 使用示例

文檔未提供代碼示例，跳過該章節。

📚 詳細文檔

訓練數據

微調基於預訓練模型KB/bert-base-swedish-cased進行。 訓練和開發數據集是我們的瑞典語翻譯的SQuAD v2。 這裡是HuggingFace數據集。

超參數

batch_size = 16
n_epochs = 2
max_seq_len = 386
learning_rate = 3e-5
warmup_steps = 2900    # warmup_proportion = 0.2
doc_stride=128
max_query_length=64

評估結果

'exact': 66.72642524202223
'f1': 70.11149581003404
'total': 11156
'HasAns_exact': 55.574745730186144
'HasAns_f1': 62.821693965983044
'HasAns_total': 5211
'NoAns_exact': 76.50126156433979
'NoAns_f1': 76.50126156433979
'NoAns_total': 5945

侷限性和偏差

該模型可能由於SQuAD數據集的誤譯而包含偏差。

BibTeX引用和引用信息

@misc{svSQuADbert,
  author = {Susumu Okazawa},
  title = {Swedish BERT Fine-tuned on Swedish SQuAD 2.0},
  year = {2021},
  howpublished = {\url{https://huggingface.co/susumu2357/bert-base-swedish-squad2}},
}

📄 許可證

該模型使用的許可證為Apache-2.0。