Nbailab Base Ner Scandi

🚀 ScandiNER - 斯堪的納維亞語言命名實體識別模型

ScandiNER是一款專為斯堪的納維亞語言設計的命名實體識別模型，能夠精準識別丹麥語、挪威語、瑞典語、冰島語和法羅語中的人名、地名、組織機構名等實體，同時在英語句子上也有不錯的表現。

你可以點擊這裡查看該模型的演示。

🚀 快速開始

你可以在腳本中按如下方式使用該模型：

基礎用法

>>> from transformers import pipeline
>>> import pandas as pd
>>> ner = pipeline(task='ner', 
...                model='saattrupdan/nbailab-base-ner-scandi', 
...                aggregation_strategy='first')
>>> result = ner('Borghild kjøper seg inn i Bunnpris')
>>> pd.DataFrame.from_records(result)
  entity_group     score      word  start  end
0          PER  0.981257  Borghild      0    8
1          ORG  0.974099  Bunnpris     26   34

✨ 主要特性

• 多語言支持：支持丹麥語、挪威語（書面挪威語和新挪威語）、瑞典語、冰島語和法羅語，對英語句子也有一定的識別能力。
• 精準識別：能夠預測人物（PER）、地點（LOC）、組織（ORG）和其他雜項（MISC）四類實體。
• 性能優越：相比之前的先進模型，該模型不僅準確率高，而且體積更小、速度更快。

📦 安裝指南

文檔未提及具體安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

>>> from transformers import pipeline
>>> import pandas as pd
>>> ner = pipeline(task='ner', 
...                model='saattrupdan/nbailab-base-ner-scandi', 
...                aggregation_strategy='first')
>>> result = ner('Borghild kjøper seg inn i Bunnpris')
>>> pd.DataFrame.from_records(result)
  entity_group     score      word  start  end
0          PER  0.981257  Borghild      0    8
1          ORG  0.974099  Bunnpris     26   34

高級用法

文檔未提及高級用法代碼示例，故跳過該部分。

📚 詳細文檔

識別實體類型

該模型將預測以下四種實體：

性能表現

以下是該模型在斯堪的納維亞命名實體識別測試數據集上的Micro-F1性能，並與當前的先進模型進行了比較。這些模型在測試集及其9個自舉版本上進行了評估，此處顯示的是平均值和95%置信區間：

除了高精度之外，它還比之前的先進模型明顯更 小 且更 快：

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：2e-05
• 訓練批次大小：8
• 評估批次大小：8
• 隨機種子：42
• 梯度累積步數：4
• 總訓練批次大小：32
• 優化器：Adam，β=(0.9,0.999)，ε=1e-08
• 學習率調度器類型：線性
• 學習率調度器熱身步數：90135.90000000001
• 訓練輪數：1000

訓練結果

框架版本

• Transformers 4.10.3
• Pytorch 1.9.0+cu102
• Datasets 1.12.1
• Tokenizers 0.10.3

🔧 技術細節

該模型是 NbAiLab/nb-bert-base 的微調版本，用於丹麥語、挪威語（書面挪威語和新挪威語）、瑞典語、冰島語和法羅語的命名實體識別。它在 DaNE、NorNE、SUC 3.0 和 WikiANN 數據集的冰島語和法羅語部分的拼接數據上進行了微調。由於預訓練模型也在英語數據以及斯堪的納維亞語言數據上進行了訓練，因此該模型在英語句子上也能有較好的表現。

📄 許可證

本項目採用MIT許可證。

數據集信息