Bert Base NER

🚀 BERT基礎命名實體識別（NER）的ONNX轉換

本項目是 bert-base-NER 模型的ONNX轉換實現，提供了一個可用於命名實體識別（NER）任務的預訓練模型，在相關任務中達到了先進水平。

🚀 快速開始

模型轉換說明

本項目聚焦於 bert-base-NER 模型的轉換工作。

✨ 主要特性

bert-base-NER 是一個經過微調的BERT模型，可直接用於 命名實體識別 任務，並在該任務中取得了 先進的性能。它經過訓練，能夠識別四種類型的實體：地點（LOC）、組織（ORG）、人物（PER）和其他（MISC）。

具體而言，該模型基於 bert-base-cased 模型，並在標準 CoNLL - 2003命名實體識別 數據集的英文版本上進行了微調。

如果你希望使用在相同數據集上微調的更大的BERT - large模型，也可以選擇 bert-large-NER 版本。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("dslim/bert-base-NER")
model = AutoModelForTokenClassification.from_pretrained("dslim/bert-base-NER")

nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "My name is Wolfgang and I live in Berlin"

ner_results = nlp(example)
print(ner_results)

📚 詳細文檔

預期用途與侷限性

使用方法

你可以使用Transformers的 pipeline 來使用此模型進行命名實體識別。

侷限性和偏差

該模型受限於其特定時間段內帶有實體標註的新聞文章訓練數據集，可能無法很好地泛化到不同領域的所有用例。此外，模型偶爾會將子詞標記為實體，可能需要對結果進行後處理以處理這些情況。

訓練數據

該模型在標準 CoNLL - 2003命名實體識別 數據集的英文版本上進行了微調。

訓練數據集區分了實體的開始和延續，以便在出現連續的同類型實體時，模型能夠輸出第二個實體的起始位置。在數據集中，每個標記將被分類為以下類別之一：

CoNLL - 2003英文數據集統計信息

該數據集源自路透社語料庫，由路透社新聞故事組成。你可以在CoNLL - 2003論文中瞭解更多關於該數據集的創建方式。

每個實體類型的訓練示例數量

每個數據集的文章/句子/標記數量

訓練過程

該模型在單個NVIDIA V100 GPU上進行訓練，使用了 原始BERT論文 中推薦的超參數，該論文在CoNLL - 2003 NER任務上對模型進行了訓練和評估。

評估結果

測試指標略低於官方Google BERT的結果，官方結果對文檔上下文進行了編碼並使用了CRF進行實驗。關於復現原始結果的更多信息 點擊此處。

BibTeX引用和引用信息

@article{DBLP:journals/corr/abs-1810-04805,
  author    = {Jacob Devlin and
               Ming{-}Wei Chang and
               Kenton Lee and
               Kristina Toutanova},
  title     = {{BERT:} Pre-training of Deep Bidirectional Transformers for Language
               Understanding},
  journal   = {CoRR},
  volume    = {abs/1810.04805},
  year      = {2018},
  url       = {http://arxiv.org/abs/1810.04805},
  archivePrefix = {arXiv},
  eprint    = {1810.04805},
  timestamp = {Tue, 30 Oct 2018 20:39:56 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1810-04805.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

@inproceedings{tjong-kim-sang-de-meulder-2003-introduction,
    title = "Introduction to the {C}o{NLL}-2003 Shared Task: Language-Independent Named Entity Recognition",
    author = "Tjong Kim Sang, Erik F.  and
      De Meulder, Fien",
    booktitle = "Proceedings of the Seventh Conference on Natural Language Learning at {HLT}-{NAACL} 2003",
    year = "2003",
    url = "https://www.aclweb.org/anthology/W03-0419",
    pages = "142--147",
}

📄 許可證

本項目採用MIT許可證。