Hate Speech Multilabel Classification With Bert

🚀 仇恨言论多标签分类器

本项目构建了一个仇恨言论多标签分类器，利用加州大学伯克利分校的仇恨言论数据集，通过对BERT进行迁移学习，实现对种族、宗教、出身、性别、性取向、年龄和残疾等不同类型仇恨言论的分类，为检测和处理仇恨言论提供了有效的工具。

🚀 快速开始

本项目最初发布于 Kaggle。

我最近偶然发现了母校加州大学伯克利分校的一个非常全面的仇恨言论测量数据集。该数据集汇总了来自Youtube、Reddit和Twitter的社交媒体评论。

这个数据集有趣的地方在于，其中包含了标注者的个人信息，如意识形态、收入、种族等。遗憾的是，在大多数社交媒体数据集中，这并不常见，所以我对此很感兴趣。我还觉得论文中“数据透视主义”的观点很有意思，它认为标注者在仇恨言论属性上的分歧是有价值的信息，而不是应该被丢弃的内容。

虽然在这个模型中我们没有利用标注者的信息，但我鼓励你去探索这个数据集，或许可以利用标注者的信息对这个分类器进行改进。

在这里，我基于论文 The Measuring Hate Speech Corpus: Leveraging Rasch Measurement Theory for Data Perspectivism 中的 加州大学伯克利分校D - Lab的仇恨言论数据集，通过对 BERT 进行迁移学习，构建了一个仇恨言论多标签分类器，用于对种族、宗教、出身、性别、性取向、年龄和残疾等独立目标进行分类。

✨ 主要特性

• 多标签分类：能够同时对种族、宗教、出身、性别、性取向、年龄和残疾等不同类型的仇恨言论进行分类。
• 数据丰富：使用了包含标注者个人信息的全面数据集，为模型训练提供了更多维度的信息。
• 迁移学习：基于BERT进行迁移学习，提高了模型的性能和泛化能力。

📄 许可证

本项目采用 Apache - 2.0 许可证。

📚 详细文档

数据集信息

示例展示