Slovakbert Ner

🚀 基于斯洛伐克BERT的命名实体识别

本模型是 gerulata/slovakbert 在斯洛伐克wikiann数据集上的微调版本。它在评估集上取得了以下结果：

• 损失率：0.1600
• 精确率：0.9327
• 召回率：0.9470
• F1值：0.9398
• 准确率：0.9785

🚀 快速开始

本模型可用于斯洛伐克语的命名实体识别任务。下面将为你展示如何使用该模型进行推理。

✨ 主要特性

• 支持的实体类别：支持识别地点（LOCATION）、人物（PERSON）和组织（ORGANIZATION）三类实体。
• 高性能表现：在评估集上取得了较高的精确率、召回率、F1值和准确率。

💻 使用示例

基础用法

from transformers import pipeline

ner_pipeline = pipeline(task='ner', model='crabz/slovakbert-ner')
input_sentence = "Minister financií a líder mandátovo najsilnejšieho hnutia OĽaNO Igor Matovič upozorňuje, že následky tretej vlny budú na Slovensku veľmi veľké."
classifications = ner_pipeline(input_sentence)

高级用法

结合 displaCy 进行可视化展示：

import spacy
from spacy import displacy

ner_map = {0: '0', 1: 'B-OSOBA', 2: 'I-OSOBA', 3: 'B-ORGANIZÁCIA', 4: 'I-ORGANIZÁCIA', 5: 'B-LOKALITA', 6: 'I-LOKALITA'}

entities = []
for i in range(len(classifications)):
    if classifications[i]['entity'] != 0:
        if ner_map[classifications[i]['entity']][0] == 'B':
            j = i + 1
            while j < len(classifications) and ner_map[j]['entity']][0] == 'I':
                j += 1
            entities.append((ner_map[classifications[i]['entity']].split('-')[1], classifications[i]['start'],
                             classifications[j - 1]['end']))

nlp = spacy.blank("en")  # it should work with any language

doc = nlp(input_sentence)

ents = []
for ee in entities:
    ents.append(doc.char_span(ee[1], ee[2], ee[0]))

doc.ents = ents

options = {"ents": ["OSOBA", "ORGANIZÁCIA", "LOKALITA"],
           "colors": {"OSOBA": "lightblue", "ORGANIZÁCIA": "lightcoral", "LOKALITA": "lightgreen"}}
displacy_html = displacy.render(doc, style="ent", options=options)

可视化示例

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：32
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 训练轮数：15.0

训练结果

框架版本

• Transformers 4.13.0.dev0
• Pytorch 1.10.0+cu113
• Datasets 1.15.1
• Tokenizers 0.10.3

📄 许可证

本项目采用MIT许可证。