Koelectra Small V3 Modu Ner

🚀 KoELECTRA-small-v3-modu-ner

KoELECTRA-small-v3-modu-ner是基于monologg/koelectra-small-v3-discriminator在未知数据集上微调得到的模型。它可用于实体识别任务，能识别多种类型的实体，在评估集上有较好的表现。

🚀 快速开始

如何使用

你可以使用Transformers库的pipeline进行命名实体识别（NER）。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("Leo97/KoELECTRA-small-v3-modu-ner")
model = AutoModelForTokenClassification.from_pretrained("Leo97/KoELECTRA-small-v3-modu-ner")
ner = pipeline("ner", model=model, tokenizer=tokenizer)

example = "서울역으로 안내해줘."
ner_results = ner(example)
print(ner_results)

✨ 主要特性

• 标签系统：采用BIO标签系统，能准确标记实体的起始、中间和非实体部分。
• 丰富的标签集：遵循韩国信息通信技术协会（TTA）大分类标准，包含15种标签集，可识别多种类型的实体。
• 良好的性能：在评估集上，该模型的损失为0.1431，精确率为0.8232，召回率为0.8449，F1值为0.8339，准确率为0.9628。

📚 详细文档

标签系统说明

• B-(begin) : 实体名称开始时
• I-(inside) : 标记位于实体名称中间时
• O(outside) : 标记不是实体名称时

标签集说明

该模型遵循韩国信息通信技术协会（TTA）大分类标准，采用15种标签集，具体如下：

📦 安装指南

文档未提及安装步骤，若需使用该模型，可参考Transformers库的安装方法，确保安装以下版本的库：

• Transformers 4.27.4
• Pytorch 2.0.0+cu118
• Datasets 2.11.0
• Tokenizers 0.13.3

🔧 技术细节

训练和评估数据

该命名实体识别（NER）模型的训练数据集来自：

• 韩国文化体育观光部 > 韩国国立国语院 > 全民语料库 > 实体分析语料库2021
• 数据集链接：https://corpus.korean.go.kr/request/reausetMain.do

训练超参数

训练过程中使用的超参数如下：

• 学习率（learning_rate）: 5e-05
• 训练批次大小（train_batch_size）: 64
• 评估批次大小（eval_batch_size）: 64
• 随机种子（seed）: 42
• 优化器（optimizer）: Adam，β1=0.9，β2=0.999，ε=1e-08
• 学习率调度器类型（lr_scheduler_type）: 线性
• 学习率调度器热身步数（lr_scheduler_warmup_steps）: 15151
• 训练轮数（num_epochs）: 20
• 混合精度训练（mixed_precision_training）: 原生自动混合精度（Native AMP）

训练结果

框架版本

• Transformers 4.27.4
• Pytorch 2.0.0+cu118
• Datasets 2.11.0
• Tokenizers 0.13.3