Turkish Toxic Language Detection

🚀 トルコ語有毒言語検出モデル

このモデルは、dbmdz/bert-base-turkish-cased を微調整して作成され、トルコ語テキストの二元的な有毒性分類を行うために使用されます。このモデルは、クリーニングと前処理を行った Overfit-GM/turkish-toxic-language データセットを使用して訓練されています。

✨ 主な機能

• マルチラベル対応：正解率、F1値、適合率、再現率など、複数の評価指標をサポートしています。
• データ処理：訓練データに対して、URL、メンション、特殊文字、俗語などの除去を含むクリーニングと前処理を行っています。
• 訓練戦略：Hugging Faceの Trainer APIを使用して訓練を行い、不均衡なクラス分布を解消するためにアンダーサンプリングを適用しています。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tokenizer = AutoTokenizer.from_pretrained("fc63/turkish_toxic_language_detection_model")
model = AutoModelForSequenceClassification.from_pretrained("fc63/turkish_toxic_language_detection_model")

def predict_toxicity(text):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding="max_length", max_length=128)
    outputs = model(**inputs)
    predicted = torch.argmax(outputs.logits, dim=1).item()
    return "Toxic" if predicted == 1 else "Non-Toxic"

📚 ドキュメント

性能評価

混合行列

前処理の詳細 (cleaned_corrected_text)

このモデルは cleaned_corrected_text 列を使用して訓練されています。この列は、corrected_text から基本的な正規表現に基づくクリーニング手順と手動の俗語フィルタリングを行って作成されています。詳細は以下の通りです。

クリーニング関数

def clean_corrected_text(text):
    text = text.lower()
    text = re.sub(r"http\S+|www\S+|https\S+", '', text, flags=re.MULTILINE)  # URL removal
    text = re.sub(r"@\w+", '', text)  # remove @mentions
    text = re.sub(r"[^\w\s.,!?-]", '', text)  # remove special characters (e.g., emojis)
    text = re.sub(r"\s+", ' ', text).strip()  # normalize whitespaces
    return text

手動の俗語フィルタリング

slang_words = ["kanka", "lan", "knk", "bro", "la", "birader", "kanki"]

def remove_slang(text):
    for word in slang_words:
        text = text.replace(word, "")
    return text.strip()

適用手順のまとめ

結論：cleaned_corrected_text は軽度のクリーニングが行われ、言語学的な処理は行われていないテキスト列です。モデルはこの列を直接使用して訓練されています。

訓練の詳細

• 訓練器：Hugging Face Trainer API
• エポック数：3
• バッチサイズ：16
• 学習率：2e-5
• 評価戦略：エポックごとに評価
• アンダーサンプリング：不均衡なクラス分布を解消するために適用

データセット

使用したデータセット：Overfit-GM/turkish-toxic-language
前処理とバランス調整後の最終的なデータセットサイズ：54068 サンプル

🔧 技術詳細

このモデルは dbmdz/bert-base-turkish-cased を微調整して作成され、トルコ語テキストの二元的な有毒性分類を行います。Overfit-GM/turkish-toxic-language データセットに対して、URL、メンション、特殊文字、俗語などのノイズ情報を除去するクリーニングと前処理を行うことで、モデルの性能を向上させています。訓練にはHugging Faceの Trainer APIを使用し、適切なエポック数、バッチサイズ、学習率を設定し、不均衡なクラス分布を解消するためにアンダーサンプリングを適用しています。

📄 ライセンス

このプロジェクトは MIT ライセンスの下で提供されています。