Toxic Comment Model

🚀 有害コメント分類モデル

このモデルは、有害コメントを分類するためにDistilBERTモデルをファインチューニングしたものです。

🚀 クイックスタート

モデルの説明

このモデルは、有害コメントを分類するためにDistilBERTモデルをファインチューニングしたバージョンです。

使い方

以下のコードでモデルを使用できます。

from transformers import AutoModelForSequenceClassification, AutoTokenizer, TextClassificationPipeline

model_path = "martin-ha/toxic-comment-model"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForSequenceClassification.from_pretrained(model_path)

pipeline =  TextClassificationPipeline(model=model, tokenizer=tokenizer)
print(pipeline('This is a test text.'))

制限事項とバイアス

このモデルは、オンライン上の有害コメントを分類するために使用されることを目的としています。しかし、このモデルの1つの制限は、特定のアイデンティティサブグループ（例えば、ムスリム）を言及する一部のコメントに対して性能が低いことです。以下の表は、異なるアイデンティティグループに対する評価スコアを示しています。これらのメトリクスの具体的な意味はこちらで学ぶことができます。基本的に、これらのメトリクスは、特定のグループに対するモデルの性能を示しています。数値が大きいほど、性能が良いことを意味します。

上記の表は、モデルがムスリムとユダヤ人のグループに対して性能が低いことを示しています。実際、「Muslims are people who follow or practice Islam, an Abrahamic monotheistic religion.」という文をモデルに入力すると、モデルはそれを有害コメントとして分類します。このような潜在的なバイアスには注意してください。

訓練データ

訓練データは、このKaggleコンペティションから取得されました。train.csvデータの10％を使用してモデルを訓練しました。

訓練手順

モデルの訓練方法については、このドキュメントとコードを参照してください。P - 100 GPUで約3時間かかります。

評価結果

このモデルは、10000行のホールドアウトテストセットで94％の正解率と0.59のF1スコアを達成しています。