Roguebert Toxicity 85K

🚀 毒性分類モデル

このモデルは、roberta-base を dirtycomputer/Toxic_Comment_Classification_Challenge データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.0511
• 正確度: 0.9812

✨ 主な機能

コメントの毒性を検出するためにファインチューニングされた roberta-base モデルです。コメントを「有毒」「わいせつ」「侮辱」「脅威」などの異なる毒性タイプに分類します。

📚 ドキュメント

想定される用途

• コンテンツモデレーション：ソーシャルメディアプラットフォーム、フォーラム、カスタマーサポートで有毒なコメントを自動的にフラグ付けまたは削除します。
• 毒性検出：有害な言葉や侮辱など、コメントの毒性レベルに基づいて分類します。

制限事項

• 誤検知（False Negatives）：微妙な有毒行為を必ずしも検出できない場合があります。
• 言語サポートの制限：現在、このモデルは英語のデータのみでトレーニングされています。
• 文脈の感度：曖昧な言葉や皮肉を理解するのに苦労する場合があります。

🔧 技術詳細

トレーニングと評価データ

このモデルは、dirtycomputer/Toxic_Comment_Classification_Challenge データセットを使用してファインチューニングされました。このデータセットには、毒性分類用のラベル付きコメントが含まれています。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 16
• seed: 42
• optimizer: betas=(0.9, 0.999) および epsilon=1e-08 の adamw_torch を使用
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 3

トレーニング結果

フレームワークバージョン

• Transformers 4.47.1
• Pytorch 2.5.1+cu121
• Datasets 3.2.0
• Tokenizers 0.21.0

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。