Kcelectra Base Bad Sentence Classifier

🚀 Bad_text_classifier

このモデルは、インターネット上の様々なコメントやチャットが、敏感な内容かどうかを判別することができます。公開データを用いてラベルを修正し、データを統合して微調整を行ったモデルです。ただし、このモデルが常にすべての文章を正確に判断できるわけではないことをご理解いただければ幸いです。

注意)
公開データの著作権の問題により、モデル学習に使用した変形データは公開できません。
また、このモデルの意見は私の意見とは無関係です。

🚀 クイックスタート

このセクションでは、モデルの使用方法を説明します。

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')
tokenizer = AutoTokenizer.from_pretrained('JminJ/kcElectra_base_Bad_Sentence_Classifier')

✨ 主な機能

このモデルは、インターネット上のコメントやチャットが敏感な内容かどうかを判別することができます。公開データを用いてラベルを修正し、データを統合して微調整を行っています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

📦 データセット

データラベル

• 0 : 不適切な文章
• 1 : 適切な文章

使用したデータセット

• smilegate-ai/Korean Unsmile Dataset
• kocohub/Korean HateSpeech Dataset

データセットの加工方法

元々二値分類ではなかった2つのデータを二値分類の形式で再ラベリングし、Korean HateSpeech Datasetのうちラベル1（適切な文章）のみを抽出し、加工されたKorean Unsmile Datasetに統合しました。

Korean Unsmile Datasetでクリーンとラベリングされていたデータの一部を0（不適切な文章）に修正しました。

• "~ノ"を含む文章のうち、"이기"、"노무"を含むデータは0（不適切な文章）に修正
• "좆"、"봊"など性関連のニュアンスを含むデータは0（不適切な文章）に修正

🔧 モデル学習

• huggingface transformersのElectraForSequenceClassificationを使用して微調整を行いました。
• 韓国語の公開Electraモデルのうち3つのモデルを使用してそれぞれ学習させました。

使用したモデル

• Beomi/KcELECTRA
• monologg/koELECTRA
• tunib/electra-ko-base

📊 モデルの検証精度

注意)
すべてのモデルは、同じシード、学習率(3e-06)、重み減衰係数(0.001)、バッチサイズ(128)で学習されました。

📄 ライセンス

このプロジェクトの詳細については、GitHubリポジトリを参照してください。

📞 お問い合わせ

質問やフィードバックがある場合は、jminju254@gmail.comまでお問い合わせください。

🔗 参考文献

• Beomi/KcELECTRA
• monologg/koELECTRA
• tunib/electra-ko-base
• smilegate-ai/Korean Unsmile Dataset
• kocohub/Korean HateSpeech Dataset
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators