Kcelectra Base Bad Sentence Classifier

🚀 不良文本分類器

本項目公開了一個用於判別互聯網上各類評論、聊天內容是否包含敏感信息的模型。該模型使用公開數據集，對標籤進行修改並整合數據後進行了微調訓練。需要說明的是，此模型並非能對所有語句都做出準確判斷，還請您予以理解。

注意事項：
由於公開數據的版權問題，模型訓練中使用的經過處理的數據無法公開。
此外，該模型的觀點與本人觀點無關。

🚀 快速開始

模型使用方法

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')
tokenizer = AutoTokenizer.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')

✨ 主要特性

本模型能夠對互聯網上的評論、聊天內容進行敏感信息判別，通過對公開數據集的處理和微調訓練，提升了模型的性能。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')
tokenizer = AutoTokenizer.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')

📚 詳細文檔

數據集

數據標籤

• 0 : 不良語句
• 1 : 正常語句

使用的數據集

• smilegate-ai/Korean Unsmile Dataset
• kocohub/Korean HateSpeech Dataset

數據集處理方法

將原本並非二分類的兩個數據集重新進行二分類標註，然後從Korean HateSpeech Dataset中篩選出標籤為1（正常語句）的數據，並與處理後的Korean Unsmile Dataset合併。

對Korean Unsmile Dataset中標記為“clean”的數據進行了部分修改：

• 包含“~노”且同時包含“이기”“노무”的語句，將標籤修改為0（不良語句）。
• 包含“좆”“봊”等具有性暗示意味的語句，將標籤修改為0（不良語句）。

模型訓練

• 使用huggingface transformers的ElectraForSequenceClassification進行微調訓練。
• 使用了三種公開的韓語Electra模型分別進行訓練。

使用的模型

• Beomi/KcELECTRA
• monologg/koELECTRA
• tunib/electra-ko-base

模型驗證準確率

注意：
所有模型均在相同的種子、學習率（3e-06）、權重衰減係數（0.001）和批量大小（128）的條件下進行訓練。

🔧 技術細節

本項目使用huggingface transformers庫中的ElectraForSequenceClassification進行微調訓練，通過對公開數據集的處理和整合，提升了模型的性能。同時，使用了三種不同的韓語Electra模型進行訓練，並在相同的訓練參數下進行比較。

📄 許可證

文檔未提及許可證信息，暫不展示。

📞 聯繫方式

• jminju254@gmail.com

🌐 GitHub鏈接

• https://github.com/JminJ/Bad_text_classifier

📚 參考文獻

• Beomi/KcELECTRA
• monologg/koELECTRA
• tunib/electra-ko-base
• smilegate-ai/Korean Unsmile Dataset
• kocohub/Korean HateSpeech Dataset
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators