Slovakbert Ner

🚀 スロバキア語BERTに基づく固有表現認識

このモデルは、スロバキア語のwikiannデータセットでgerulata/slovakbertをファインチューニングしたバージョンです。 評価セットでは以下の結果を達成しています。

• 損失: 0.1600
• 適合率: 0.9327
• 再現率: 0.9470
• F1値: 0.9398
• 正解率: 0.9785

🚀 クイックスタート

このモデルを使用して固有表現認識を行う基本的な手順を説明します。

基本的な使用法

from transformers import pipeline

ner_pipeline = pipeline(task='ner', model='crabz/slovakbert-ner')
input_sentence = "Minister financií a líder mandátovo najsilnejšieho hnutia OĽaNO Igor Matovič upozorňuje, že následky tretej vlny budú na Slovensku veľmi veľké."
classifications = ner_pipeline(input_sentence)

高度な使用法

displaCyを使用して視覚的に表示する方法です。

import spacy
from spacy import displacy

ner_map = {0: '0', 1: 'B-OSOBA', 2: 'I-OSOBA', 3: 'B-ORGANIZÁCIA', 4: 'I-ORGANIZÁCIA', 5: 'B-LOKALITA', 6: 'I-LOKALITA'}

entities = []
for i in range(len(classifications)):
    if classifications[i]['entity'] != 0:
        if ner_map[classifications[i]['entity']][0] == 'B':
            j = i + 1
            while j < len(classifications) and ner_map[classifications[j]['entity']][0] == 'I':
                j += 1
            entities.append((ner_map[classifications[i]['entity']].split('-')[1], classifications[i]['start'],
                             classifications[j - 1]['end']))

nlp = spacy.blank("en")  # どの言語でも動作するはず

doc = nlp(input_sentence)

ents = []
for ee in entities:
    ents.append(doc.char_span(ee[1], ee[2], ee[0]))

doc.ents = ents

options = {"ents": ["OSOBA", "ORGANIZÁCIA", "LOKALITA"],
           "colors": {"OSOBA": "lightblue", "ORGANIZÁCIA": "lightcoral", "LOKALITA": "lightgreen"}}
displacy_html = displacy.render(doc, style="ent", options=options)

✨ 主な機能

• サポートされるクラス: 場所(LOCATION)、人物(PERSON)、組織(ORGANIZATION)

📚 ドキュメント

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 5e-05
• 学習バッチサイズ: 32
• 評価バッチサイズ: 8
• 乱数シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• エポック数: 15.0

学習結果

フレームワークのバージョン

• Transformers 4.13.0.dev0
• Pytorch 1.10.0+cu113
• Datasets 1.15.1
• Tokenizers 0.10.3

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。