Koelectra Small V3 Modu Ner

🚀 KoELECTRA-small-v3-modu-ner

KoELECTRA-small-v3-modu-ner是基於monologg/koelectra-small-v3-discriminator在未知數據集上微調得到的模型。它可用於實體識別任務，能識別多種類型的實體，在評估集上有較好的表現。

🚀 快速開始

如何使用

你可以使用Transformers庫的pipeline進行命名實體識別（NER）。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("Leo97/KoELECTRA-small-v3-modu-ner")
model = AutoModelForTokenClassification.from_pretrained("Leo97/KoELECTRA-small-v3-modu-ner")
ner = pipeline("ner", model=model, tokenizer=tokenizer)

example = "서울역으로 안내해줘."
ner_results = ner(example)
print(ner_results)

✨ 主要特性

• 標籤系統：採用BIO標籤系統，能準確標記實體的起始、中間和非實體部分。
• 豐富的標籤集：遵循韓國信息通信技術協會（TTA）大分類標準，包含15種標籤集，可識別多種類型的實體。
• 良好的性能：在評估集上，該模型的損失為0.1431，精確率為0.8232，召回率為0.8449，F1值為0.8339，準確率為0.9628。

📚 詳細文檔

標籤系統說明

• B-(begin) : 實體名稱開始時
• I-(inside) : 標記位於實體名稱中間時
• O(outside) : 標記不是實體名稱時

標籤集說明

該模型遵循韓國信息通信技術協會（TTA）大分類標準，採用15種標籤集，具體如下：

📦 安裝指南

文檔未提及安裝步驟，若需使用該模型，可參考Transformers庫的安裝方法，確保安裝以下版本的庫：

• Transformers 4.27.4
• Pytorch 2.0.0+cu118
• Datasets 2.11.0
• Tokenizers 0.13.3

🔧 技術細節

訓練和評估數據

該命名實體識別（NER）模型的訓練數據集來自：

• 韓國文化體育觀光部 > 韓國國立國語院 > 全民語料庫 > 實體分析語料庫2021
• 數據集鏈接：https://corpus.korean.go.kr/request/reausetMain.do

訓練超參數

訓練過程中使用的超參數如下：

• 學習率（learning_rate）: 5e-05
• 訓練批次大小（train_batch_size）: 64
• 評估批次大小（eval_batch_size）: 64
• 隨機種子（seed）: 42
• 優化器（optimizer）: Adam，β1=0.9，β2=0.999，ε=1e-08
• 學習率調度器類型（lr_scheduler_type）: 線性
• 學習率調度器熱身步數（lr_scheduler_warmup_steps）: 15151
• 訓練輪數（num_epochs）: 20
• 混合精度訓練（mixed_precision_training）: 原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers 4.27.4
• Pytorch 2.0.0+cu118
• Datasets 2.11.0
• Tokenizers 0.13.3