Distilbert Base Multilingual Cased Toxicity

🚀 citizenlab/distilbert-base-multilingual-cased-toxicity

このモデルは、JIGSAW Toxic Comment Classification Challengeのデータセットを基にトレーニングされた多言語Distil - Bertモデルのシーケンス分類器です。多言語の文章を毒性の有無で分類することができます。

🚀 クイックスタート

このモデルの基本的な使い方を説明します。以下のコードを参考に、モデルを使用して文章の毒性を分類できます。

基本的な使用法

from transformers import pipeline

model_path = "citizenlab/distilbert-base-multilingual-cased-toxicity"

toxicity_classifier = pipeline("text-classification", model=model_path, tokenizer=model_path)
toxicity_classifier("this is a lovely message")
> [{'label': 'not_toxic', 'score': 0.9954179525375366}]

toxicity_classifier("you are an idiot and you and your family should go back to your country")
> [{'label': 'toxic', 'score': 0.9948776960372925}]

📚 ドキュメント

モデル情報

評価結果

精度

  Accuracy Score = 0.9425
F1 Score (Micro) = 0.9450549450549449
F1 Score (Macro) = 0.8491432341169309