Offensive Speech Detection

🚀 攻撃的・憎悪発言検出用Fine-Tuned DistilBERTモデルカード

Fine-Tuned DistilBERTは、BERTトランスフォーマーモデルのバリアントです。効率的なパフォーマンスを維持しながら、高精度を保つように蒸留されています。このモデルは、テキストデータ内の攻撃的・憎悪発言検出という特定のタスクに適合するように調整され、Fine-Tuningされています。

「distilbert-base-uncased」という名前のこのモデルは、大量のテキストデータで事前学習されており、自然言語テキストに含まれる意味的なニュアンスや文脈情報を捉えることができます。攻撃的・憎悪発言検出タスクに最適なモデルパフォーマンスを確保するために、バッチサイズや学習率などのハイパーパラメータ設定に細心の注意を払ってFine-Tuningされています。

Fine-Tuningの過程では、効率的な計算と学習のためにバッチサイズ16が選択されました。また、急速な収束と安定した最適化のバランスを取るために学習率（2e-5）が選択され、モデルが迅速に学習し、トレーニング全体を通じて安定して能力を向上させることができます。

このモデルは、攻撃的・憎悪発言検出用に特別に設計された100k未満の独自データセットでトレーニングされています。このデータセットは、「非攻撃的」または「攻撃的」とラベル付けされたテキストサンプルで構成されています。データセット内の多様性により、モデルは攻撃的な内容を正確に識別することができます。このデータセットは、このトピックに関する研究データセットやニュースの見出しを組み合わせたもので、すべての重複データは削除され、データセットの品質を確保するために細心の注意が払われています。

この細心のトレーニングプロセスの目標は、モデルにテキストデータ内の攻撃的・憎悪発言を効果的に検出する能力を備えさせることです。その結果、高精度と信頼性を維持しながら、コンテンツモデレーションと安全性に大きく貢献できるモデルが完成しました。

✨ 主な機能

意図された用途

• 攻撃的・憎悪発言検出：このモデルの主な意図された用途は、テキストデータ内の攻撃的または憎悪発言を検出することです。様々なアプリケーションにおける不適切なコンテンツのフィルタリングと識別に適しています。
• 特筆すべき点：データによると、「like」という単語は、軽蔑的な比較文として最も頻繁に使用されています。
• これらは「攻撃的発言データセット」内に多数存在します。「You look like X」や「He smells like X」は非常に一般的です。
• また、句読点の欠如も「攻撃的」データセットに大きく関係しています。
• したがって、モデルはトレーニングデータ内での出現頻度に基づいて、これらも識別することができます。

制限事項

• 特殊タスクのFine-Tuning：このモデルは攻撃的・憎悪発言検出に優れていますが、他の自然言語処理タスクに適用した場合、そのパフォーマンスは異なる可能性があります。
• このモデルを異なるタスクに使用することに興味があるユーザーは、最適な結果を得るために、モデルハブにあるFine-Tuningされたバージョンを探索することをお勧めします。

📦 インストール

このモデルを攻撃的・憎悪発言検出に使用するには、以下の手順に従ってください。

from transformers import pipeline

classifier = pipeline("text-classification", model="Falconsai/offensive_speech_detection")
text = "Your text to classify here."
result = classifier(text)

📚 ドキュメント

トレーニングデータ

このモデルのトレーニングデータには、攻撃的・憎悪発言検出用に設計された独自データセットが含まれています。このデータセットは、「非攻撃的」と「攻撃的」のクラスに分類された多様なテキストサンプルで構成されています。トレーニングプロセスの目的は、モデルに攻撃的と非攻撃的なコンテンツを効果的に区別する能力を備えさせることでした。

トレーニング統計

• 評価損失: 0.018403256312012672
• 評価精度: 0.9973234886940471
• 評価実行時間: 85.0789
• 評価サンプル/秒: 127.352
• 評価ステップ/秒: 7.969

注意: 特定の評価統計は、モデルのパフォーマンスに基づいて提供する必要があります。

🔧 技術詳細

このモデルを実世界のアプリケーション、特に潜在的に敏感なコンテンツを扱うアプリケーションに実装する際には、コンテンツガイドラインと適用可能な規制に準拠し、責任を持って倫理的に使用することが重要です。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

参考文献

• Hugging Face Model Hub
• DistilBERT Paper

免責事項: モデルのパフォーマンスは、Fine-Tuningに使用されたデータの品質と代表性に影響を受ける可能性があります。ユーザーは、特定のアプリケーションやデータセットに対するモデルの適合性を評価することをお勧めします。