KPF Bert Ner

🚀 KPF-BERT-NER

韓国報道振興財団が開発したkpf - BERTモデルをベースに、NERタスクを実行できるモデルです。使用方法やコードはGitHubで確認できます。

🚀 クイックスタート

KPF - BERT - NERは、韓国報道振興財団が開発したkpf - BERTモデルをベースに、NER（Named Entity Recognition）タスクを実行できるモデルです。使用方法に関するガイドとコードは、KPF - bigkinds githubで確認できます。

✨ 主な機能

KPF - BERT - NER

韓国報道振興財団が開発したkpf - BERTモデルをベースに、NER（Named Entity Recognition）タスクを実行できるkpf - BERT - nerモデルを設計・開発します。NERは、名前の付いたオブジェクトを認識することを意味します。韓国情報通信技術協会が提供する情報通信用語辞書によると、NERは以下の通りです。 “NERは、事前に定義された人、会社、場所、時間、単位などに該当する単語（固有表現）を文書から認識して抽出・分類する手法です。抽出された固有表現は、人名（person）、地名（location）、組織名（organization）、時間（time）などに分類されます。固有表現認識は、情報抽出を目的として始まり、自然言語処理、情報検索などに使用されます。” 実務的に表現すると、「文字列の入力を受け取り、単語ごとに該当するタグを出力するマルチクラス分類作業」です。本プロジェクトでは、kpf - BERT - nerモデルを設計・開発し、報道記事を学習させて150のクラスを分類します。

• 本サンプルで使用されるkpf - BERTは、kpfBERTで公開されています。
• 韓国語データセットは、すべてのコーパスで提供される国立国語院新聞コーパス抽出を使用しました。

韓国報道振興財団が開発したkpf - BERTをベースに、classification layerを追加してkpf - BERT - nerモデルを開発します。BERTは大量のデータを事前学習に使用します。kpf - BERTは新聞記事に特化したBERTモデルで、報道・放送メディアに強いモデルです。

BERTモデルの学習には、文からトークンを抽出するプロセスが必要です。これには、kpf - BERTで提供されるトークナイザーを使用します。kpf - BERTトークナイザーは、文をトークン化して全体の文ベクトルを作成します。その後、文の開始と終了、その他いくつかの特殊トークンを追加します。このプロセスで、文ごとに区別するセグメントトークン、各トークンの位置を示すポジショントークンなどを生成します。

NERモデルの開発には、トークンがどのクラスに属するかに関する情報が追加で必要です。本プロジェクトでは、トークナイザーを使用して文をトークンに分類した後、該当するトークンごとにNERタグ付けを行います。さらに、BIO（Begin - Inside - Outside）表記法を使用して精度を向上させます。Bは固有表現の開始部分、Iは固有表現の内部部分、Oは固有表現ではない部分を表します。