Nbailab Base Ner Scandi

🚀 ScandiNER - スカンジナビア諸言語向け固有表現認識モデル

このモデルのデモはこちらで確認できます。

このモデルは、デンマーク語、ノルウェー語（ボクモールとニュノルスクの両方）、スウェーデン語、アイスランド語、フェロー諸島語の固有表現認識のために、NbAiLab/nb-bert-baseをファインチューニングしたバージョンです。DaNE、NorNE、SUC 3.0、およびWikiANNデータセットのアイスランド語とフェロー諸島語の部分を連結したデータでファインチューニングされています。事前学習モデルがスカンジナビア諸言語とともに英語データでも学習されていることから、英語の文に対しても妥当な結果を得ることができます。

このモデルは以下の4つのエンティティを予測します。

🚀 クイックスタート

このモデルは以下のようにスクリプトで使用できます。

基本的な使用法

>>> from transformers import pipeline
>>> import pandas as pd
>>> ner = pipeline(task='ner', 
...                model='saattrupdan/nbailab-base-ner-scandi', 
...                aggregation_strategy='first')
>>> result = ner('Borghild kjøper seg inn i Bunnpris')
>>> pd.DataFrame.from_records(result)
  entity_group     score      word  start  end
0          PER  0.981257  Borghild      0    8
1          ORG  0.974099  Bunnpris     26   34

✨ 主な機能

性能

以下は、スカンジナビアの固有表現認識テストデータセットにおけるMicro-F1 NER性能で、現在の最先端技術と比較した結果です。モデルはテストセットとそのブートストラップバージョン9つで評価されており、ここには平均値と95%信頼区間が示されています。

このモデルは、高い精度に加えて、以前の最先端技術と比較して大幅に小さく、高速です。

🔧 技術詳細

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 90135.90000000001
• num_epochs: 1000

学習結果

フレームワークバージョン

• Transformers 4.10.3
• Pytorch 1.9.0+cu102
• Datasets 1.12.1
• Tokenizers 0.10.3

📄 ライセンス

このモデルはMITライセンスの下で提供されています。