Toxic Comment Model

🚀 有毒評論分類模型

本模型是 DistilBERT 模型 的微調版本，用於對有毒評論進行分類。

🚀 快速開始

模型使用方法

你可以使用以下代碼來使用該模型：

from transformers import AutoModelForSequenceClassification, AutoTokenizer, TextClassificationPipeline

model_path = "martin-ha/toxic-comment-model"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForSequenceClassification.from_pretrained(model_path)

pipeline =  TextClassificationPipeline(model=model, tokenizer=tokenizer)
print(pipeline('This is a test text.'))

🔧 技術細節

侷限性和偏差

此模型旨在對在線有毒評論進行分類。然而，該模型的一個侷限性在於，對於一些提及特定身份子群體（如穆斯林）的評論，其表現不佳。以下表格展示了針對不同身份群體的評估得分。你可以在此處瞭解這些指標的具體含義。但總體而言，這些指標顯示了模型針對特定群體的表現，數值越大越好。

上表顯示，該模型對穆斯林和猶太裔群體的表現不佳。實際上，如果你將句子 “Muslims are people who follow or practice Islam, an Abrahamic monotheistic religion.” 輸入模型，模型會將其分類為有毒評論。請留意此類潛在偏差。

訓練數據

訓練數據來自這個 Kaggle 競賽。我們使用 train.csv 數據的 10% 來訓練模型。

訓練過程

你可以查看此文檔和代碼瞭解我們是如何訓練該模型的。在 P - 100 GPU 上訓練大約需要 3 小時。

評估結果

該模型在 10000 行預留測試集上達到了 94% 的準確率和 0.59 的 F1 分數。