Nbailab Base Ner Scandi

🚀 ScandiNER - 斯堪的纳维亚语言命名实体识别模型

ScandiNER是一款专为斯堪的纳维亚语言设计的命名实体识别模型，能够精准识别丹麦语、挪威语、瑞典语、冰岛语和法罗语中的人名、地名、组织机构名等实体，同时在英语句子上也有不错的表现。

你可以点击这里查看该模型的演示。

🚀 快速开始

你可以在脚本中按如下方式使用该模型：

基础用法

>>> from transformers import pipeline
>>> import pandas as pd
>>> ner = pipeline(task='ner', 
...                model='saattrupdan/nbailab-base-ner-scandi', 
...                aggregation_strategy='first')
>>> result = ner('Borghild kjøper seg inn i Bunnpris')
>>> pd.DataFrame.from_records(result)
  entity_group     score      word  start  end
0          PER  0.981257  Borghild      0    8
1          ORG  0.974099  Bunnpris     26   34

✨ 主要特性

• 多语言支持：支持丹麦语、挪威语（书面挪威语和新挪威语）、瑞典语、冰岛语和法罗语，对英语句子也有一定的识别能力。
• 精准识别：能够预测人物（PER）、地点（LOC）、组织（ORG）和其他杂项（MISC）四类实体。
• 性能优越：相比之前的先进模型，该模型不仅准确率高，而且体积更小、速度更快。

📦 安装指南

文档未提及具体安装步骤，故跳过该章节。

💻 使用示例

基础用法

>>> from transformers import pipeline
>>> import pandas as pd
>>> ner = pipeline(task='ner', 
...                model='saattrupdan/nbailab-base-ner-scandi', 
...                aggregation_strategy='first')
>>> result = ner('Borghild kjøper seg inn i Bunnpris')
>>> pd.DataFrame.from_records(result)
  entity_group     score      word  start  end
0          PER  0.981257  Borghild      0    8
1          ORG  0.974099  Bunnpris     26   34

高级用法

文档未提及高级用法代码示例，故跳过该部分。

📚 详细文档

识别实体类型

该模型将预测以下四种实体：

性能表现

以下是该模型在斯堪的纳维亚命名实体识别测试数据集上的Micro-F1性能，并与当前的先进模型进行了比较。这些模型在测试集及其9个自举版本上进行了评估，此处显示的是平均值和95%置信区间：

除了高精度之外，它还比之前的先进模型明显更 小 且更 快：

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：2e-05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：32
• 优化器：Adam，β=(0.9,0.999)，ε=1e-08
• 学习率调度器类型：线性
• 学习率调度器热身步数：90135.90000000001
• 训练轮数：1000

训练结果

框架版本

• Transformers 4.10.3
• Pytorch 1.9.0+cu102
• Datasets 1.12.1
• Tokenizers 0.10.3

🔧 技术细节

该模型是 NbAiLab/nb-bert-base 的微调版本，用于丹麦语、挪威语（书面挪威语和新挪威语）、瑞典语、冰岛语和法罗语的命名实体识别。它在 DaNE、NorNE、SUC 3.0 和 WikiANN 数据集的冰岛语和法罗语部分的拼接数据上进行了微调。由于预训练模型也在英语数据以及斯堪的纳维亚语言数据上进行了训练，因此该模型在英语句子上也能有较好的表现。

📄 许可证

本项目采用MIT许可证。

数据集信息