Slovakbert Ner

🚀 基於斯洛伐克BERT的命名實體識別

本模型是 gerulata/slovakbert 在斯洛伐克wikiann數據集上的微調版本。它在評估集上取得了以下結果：

• 損失率：0.1600
• 精確率：0.9327
• 召回率：0.9470
• F1值：0.9398
• 準確率：0.9785

🚀 快速開始

本模型可用於斯洛伐克語的命名實體識別任務。下面將為你展示如何使用該模型進行推理。

✨ 主要特性

• 支持的實體類別：支持識別地點（LOCATION）、人物（PERSON）和組織（ORGANIZATION）三類實體。
• 高性能表現：在評估集上取得了較高的精確率、召回率、F1值和準確率。

💻 使用示例

基礎用法

from transformers import pipeline

ner_pipeline = pipeline(task='ner', model='crabz/slovakbert-ner')
input_sentence = "Minister financií a líder mandátovo najsilnejšieho hnutia OĽaNO Igor Matovič upozorňuje, že následky tretej vlny budú na Slovensku veľmi veľké."
classifications = ner_pipeline(input_sentence)

高級用法

結合 displaCy 進行可視化展示：

import spacy
from spacy import displacy

ner_map = {0: '0', 1: 'B-OSOBA', 2: 'I-OSOBA', 3: 'B-ORGANIZÁCIA', 4: 'I-ORGANIZÁCIA', 5: 'B-LOKALITA', 6: 'I-LOKALITA'}

entities = []
for i in range(len(classifications)):
    if classifications[i]['entity'] != 0:
        if ner_map[classifications[i]['entity']][0] == 'B':
            j = i + 1
            while j < len(classifications) and ner_map[j]['entity']][0] == 'I':
                j += 1
            entities.append((ner_map[classifications[i]['entity']].split('-')[1], classifications[i]['start'],
                             classifications[j - 1]['end']))

nlp = spacy.blank("en")  # it should work with any language

doc = nlp(input_sentence)

ents = []
for ee in entities:
    ents.append(doc.char_span(ee[1], ee[2], ee[0]))

doc.ents = ents

options = {"ents": ["OSOBA", "ORGANIZÁCIA", "LOKALITA"],
           "colors": {"OSOBA": "lightblue", "ORGANIZÁCIA": "lightcoral", "LOKALITA": "lightgreen"}}
displacy_html = displacy.render(doc, style="ent", options=options)

可視化示例

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：5e-05
• 訓練批次大小：32
• 評估批次大小：8
• 隨機種子：42
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：線性
• 訓練輪數：15.0

訓練結果

框架版本

• Transformers 4.13.0.dev0
• Pytorch 1.10.0+cu113
• Datasets 1.15.1
• Tokenizers 0.10.3

📄 許可證

本項目採用MIT許可證。