KPF Bert Ner

🚀 KPF-BERT-NER

KPF-BERT-NER 是在 빅카인즈랩內部菜單的實體名稱分析中使用的實體識別模型。你可以在 KPF-bigkinds github 查看使用說明和代碼。

🚀 快速開始

你可以訪問 KPF-bigkinds github 查看該模型使用方法的相關說明和代碼。

✨ 主要特性

KPF-BERT-NER

韓國新聞振興財團基於自主研發的 kpf-BERT 模型，設計並開發了可執行 NER（命名實體識別）任務的 kpf-BERT-ner 模型。NER 指的是識別具有名稱的對象。根據韓國信息通信技術協會提供的信息通信術語詞典，NER 的定義如下： “NER 是一種從文檔中識別並提取分類預先定義的與人員、公司、地點、時間、單位等相對應的單詞（實體名稱）的技術。提取的實體名稱可分為人名（person）、地名（location）、機構名（organization）、時間（time）等。實體識別最初以信息提取為目的，現已應用於自然語言處理、信息檢索等領域。” 從實際應用角度來看，它是“接收字符串作為輸入，並輸出每個單詞對應標籤的多類分類任務”。在本項目中，我們設計並開發了 kpf-BERT-ner 模型，並通過學習新聞文章對 150 個類別進行分類。

• 本示例中使用的 kpf-BERT 已在 kpfBERT 上公開。
• 韓語數據集採用了由國立國語院提供的 新聞語料庫提取 數據。

韓國新聞振興財團在 kpf-BERT 基礎上添加分類層，開發了 kpf-BERT-ner 模型。BERT 在預訓練中使用了大量數據。kpf-BERT 是專門針對新聞文章的 BERT 模型，對新聞和廣播媒體具有較強的適應性。

訓練 BERT 模型需要從句子中提取標記，這可以通過 kpf-BERT 提供的分詞器來實現。kpf-BERT 分詞器將句子進行分詞，生成整個句子向量，並添加句子的開頭和結尾以及其他一些特殊標記。在此過程中，還會生成用於區分每個句子的分段標記、表示每個標記位置的位置標記等。

開發 NER 模型還需要關於標記所屬類別的信息。在本項目中，使用分詞器將句子分割成標記後，會對每個標記進行 NER 標記。此外，採用 BIO（Begin-Inside-Outside）標記法來提高準確性。B 表示實體名稱的起始部分，I 表示實體名稱的內部部分，O 表示非實體名稱部分。