Bert Base Swedish Squad2

🚀 スウェーデン語のBERTをSQuAD v2でファインチューニングしたモデル

このモデルは、SQuAD v2でスウェーデン語のBERTをファインチューニングしたチェックポイントです。

🚀 クイックスタート

このモデルは、SQuAD v2データセットを用いてスウェーデン語のBERTをファインチューニングしたものです。

✨ 主な機能

• SQuAD v2データセットを使ってスウェーデン語のBERTをファインチューニング。
• 質問応答タスクに適用可能。

📚 ドキュメント

学習データ

ファインチューニングは、事前学習モデル KB/bert-base-swedish-cased をベースに行われました。 学習と開発データセットは、SQuAD v2のスウェーデン語翻訳版 を使用しています。 こちら がHuggingFaceのデータセットです。

ハイパーパラメータ

batch_size = 16
n_epochs = 2
max_seq_len = 386
learning_rate = 3e-5
warmup_steps = 2900    # warmup_proportion = 0.2
doc_stride=128
max_query_length=64

評価結果

'exact': 66.72642524202223
'f1': 70.11149581003404
'total': 11156
'HasAns_exact': 55.574745730186144
'HasAns_f1': 62.821693965983044
'HasAns_total': 5211
'NoAns_exact': 76.50126156433979
'NoAns_f1': 76.50126156433979
'NoAns_total': 5945

制限事項とバイアス

このモデルは、SQuADデータセットの誤訳によるバイアスを含む可能性があります。

BibTeXエントリと引用情報

@misc{svSQuADbert,
  author = {Susumu Okazawa},
  title = {Swedish BERT Fine-tuned on Swedish SQuAD 2.0},
  year = {2021},
  howpublished = {\url{https://huggingface.co/susumu2357/bert-base-swedish-squad2}},
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。