Kcelectra Base Bad Sentence Classifier

🚀 不良文本分类器

本项目公开了一个用于判别互联网上各类评论、聊天内容是否包含敏感信息的模型。该模型使用公开数据集，对标签进行修改并整合数据后进行了微调训练。需要说明的是，此模型并非能对所有语句都做出准确判断，还请您予以理解。

注意事项：
由于公开数据的版权问题，模型训练中使用的经过处理的数据无法公开。
此外，该模型的观点与本人观点无关。

🚀 快速开始

模型使用方法

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')
tokenizer = AutoTokenizer.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')

✨ 主要特性

本模型能够对互联网上的评论、聊天内容进行敏感信息判别，通过对公开数据集的处理和微调训练，提升了模型的性能。

📦 安装指南

文档未提及安装步骤，暂不展示。

💻 使用示例

基础用法

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')
tokenizer = AutoTokenizer.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')

📚 详细文档

数据集

数据标签

• 0 : 不良语句
• 1 : 正常语句

使用的数据集

• smilegate-ai/Korean Unsmile Dataset
• kocohub/Korean HateSpeech Dataset

数据集处理方法

将原本并非二分类的两个数据集重新进行二分类标注，然后从Korean HateSpeech Dataset中筛选出标签为1（正常语句）的数据，并与处理后的Korean Unsmile Dataset合并。

对Korean Unsmile Dataset中标记为“clean”的数据进行了部分修改：

• 包含“~노”且同时包含“이기”“노무”的语句，将标签修改为0（不良语句）。
• 包含“좆”“봊”等具有性暗示意味的语句，将标签修改为0（不良语句）。

模型训练

• 使用huggingface transformers的ElectraForSequenceClassification进行微调训练。
• 使用了三种公开的韩语Electra模型分别进行训练。

使用的模型

• Beomi/KcELECTRA
• monologg/koELECTRA
• tunib/electra-ko-base

模型验证准确率

注意：
所有模型均在相同的种子、学习率（3e-06）、权重衰减系数（0.001）和批量大小（128）的条件下进行训练。

🔧 技术细节

本项目使用huggingface transformers库中的ElectraForSequenceClassification进行微调训练，通过对公开数据集的处理和整合，提升了模型的性能。同时，使用了三种不同的韩语Electra模型进行训练，并在相同的训练参数下进行比较。

📄 许可证

文档未提及许可证信息，暂不展示。

📞 联系方式

• jminju254@gmail.com

🌐 GitHub链接

• https://github.com/JminJ/Bad_text_classifier

📚 参考文献

• Beomi/KcELECTRA
• monologg/koELECTRA
• tunib/electra-ko-base
• smilegate-ai/Korean Unsmile Dataset
• kocohub/Korean HateSpeech Dataset
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators