Estbert NER

🚀 EstBERT_NER

EstBERT_NERは、固有表現認識（Named Entity Recognition）に使用できる、微調整されたEstBERTモデルです。このモデルは、Tkachenko et alによって作成されたエストニア語のNERデータセットで学習されています。このモデルは、場所（LOC）、組織（ORG）、人物（PER）の3種類のエンティティを認識することができます。

🚀 クイックスタート

このモデルは、TransformersのNERパイプラインで使用することができます。モデルは時々サブワードトークンをエンティティとしてタグ付けするため、結果の後処理が必要になる場合があります。

💻 使用例

基本的な使用法

# 元のコードとコメントを保持
from transformers import BertTokenizer, BertForTokenClassification
from transformers import pipeline

tokenizer = BertTokenizer.from_pretrained('tartuNLP/EstBERT_NER')
bertner = BertForTokenClassification.from_pretrained('tartuNLP/EstBERT_NER')

nlp = pipeline("ner", model=bertner, tokenizer=tokenizer)
sentence = 'Eesti Ekspressi teada on Eesti Pank uurinud Hansapanga tehinguid , mis toimusid kaks aastat tagasi suvel ja mille käigus voolas panka ligi miljardi krooni ulatuses kahtlast raha .'

ner_results = nlp(sentence)
print(ner_results)

出力例

[{'word': 'Eesti', 'score': 0.9964128136634827, 'entity': 'B-ORG', 'index': 1}, {'word': 'Ekspressi', 'score': 0.9978809356689453, 'entity': 'I-ORG', 'index': 2}, {'word': 'Eesti', 'score': 0.9988121390342712, 'entity': 'B-ORG', 'index': 5}, {'word': 'Pank', 'score': 0.9985784292221069, 'entity': 'I-ORG', 'index': 6}, {'word': 'Hansapanga', 'score': 0.9979034662246704, 'entity': 'B-ORG', 'index': 8}]

📚 ドキュメント

モデル情報

BibTeX引用

@misc{tanvir2020estbert,
      title={EstBERT: A Pretrained Language-Specific BERT for Estonian}, 
      author={Hasan Tanvir and Claudia Kittask and Kairit Sirts},
      year={2020},
      eprint={2011.04784},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このモデルは、CC BY 4.0ライセンスの下で提供されています。