Koelectra Small V3 Modu Ner

🚀 KoELECTRA-small-v3-modu-ner

このモデルは、不明なデータセットでmonologg/koelectra-small-v3-discriminatorを微調整したバージョンです。 評価セットでは、以下の結果を達成しています。

• 損失: 0.1431
• 適合率: 0.8232
• 再現率: 0.8449
• F1値: 0.8339
• 正解率: 0.9628

✨ 主な機能

📚 ドキュメント

モデルの説明

タギングシステム : BIOシステム

• B-(begin) : 固有表現が始まるとき
• I-(inside) : トークンが固有表現の途中にあるとき
• O(outside) : トークンが固有表現ではない場合

韓国情報通信技術協会(TTA)の大分類基準に準拠した15種類のタグセット

想定される用途と制限

使い方

このモデルは、Transformersのpipelineを使用して固有表現抽出(NER)に利用できます。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("Leo97/KoELECTRA-small-v3-modu-ner")
model = AutoModelForTokenClassification.from_pretrained("Leo97/KoELECTRA-small-v3-modu-ner")
ner = pipeline("ner", model=model, tokenizer=tokenizer)

example = "서울역으로 안내해줘."
ner_results = ner(example)
print(ner_results)

学習と評価データ

固有表現抽出(NER)モデルの学習データセット

• 文化体育観光部 > 国立国語院 > みんなのコーパス > 固有表現分析コーパス2021
• https://corpus.korean.go.kr/request/reausetMain.do

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 5e-05
• 学習バッチサイズ: 64
• 評価バッチサイズ: 64
• シード値: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: linear
• 学習率スケジューラのウォームアップステップ: 15151
• エポック数: 20
• 混合精度学習: Native AMP

学習結果

フレームワークのバージョン

• Transformers 4.27.4
• Pytorch 2.0.0+cu118
• Datasets 2.11.0
• Tokenizers 0.13.3