Hate Speech Multilabel Classification With Bert

🚀 仇恨言論多標籤分類器

本項目構建了一個仇恨言論多標籤分類器，利用加州大學伯克利分校的仇恨言論數據集，通過對BERT進行遷移學習，實現對種族、宗教、出身、性別、性取向、年齡和殘疾等不同類型仇恨言論的分類，為檢測和處理仇恨言論提供了有效的工具。

🚀 快速開始

本項目最初發佈於 Kaggle。

我最近偶然發現了母校加州大學伯克利分校的一個非常全面的仇恨言論測量數據集。該數據集彙總了來自Youtube、Reddit和Twitter的社交媒體評論。

這個數據集有趣的地方在於，其中包含了標註者的個人信息，如意識形態、收入、種族等。遺憾的是，在大多數社交媒體數據集中，這並不常見，所以我對此很感興趣。我還覺得論文中“數據透視主義”的觀點很有意思，它認為標註者在仇恨言論屬性上的分歧是有價值的信息，而不是應該被丟棄的內容。

雖然在這個模型中我們沒有利用標註者的信息，但我鼓勵你去探索這個數據集，或許可以利用標註者的信息對這個分類器進行改進。

在這裡，我基於論文 The Measuring Hate Speech Corpus: Leveraging Rasch Measurement Theory for Data Perspectivism 中的 加州大學伯克利分校D - Lab的仇恨言論數據集，通過對 BERT 進行遷移學習，構建了一個仇恨言論多標籤分類器，用於對種族、宗教、出身、性別、性取向、年齡和殘疾等獨立目標進行分類。

✨ 主要特性

• 多標籤分類：能夠同時對種族、宗教、出身、性別、性取向、年齡和殘疾等不同類型的仇恨言論進行分類。
• 數據豐富：使用了包含標註者個人信息的全面數據集，為模型訓練提供了更多維度的信息。
• 遷移學習：基於BERT進行遷移學習，提高了模型的性能和泛化能力。

📄 許可證

本項目採用 Apache - 2.0 許可證。

📚 詳細文檔

數據集信息

示例展示