Hate Speech Multilabel Classification With Bert

🚀 ヘイトスピーチ多ラベル分類器

UC Berkeleyのデータセットを用いた、多様なターゲットに対するヘイトスピーチ分類器です。

🚀 クイックスタート

このヘイトスピーチ多ラベル分類器は、UC Berkeleyのデータセットを利用して、BERTモデルの転移学習により構築されています。最初はKaggleで公開されました。

著者は、母校であるUC Berkeleyから、非常に包括的なヘイトスピーチ測定データセットを見つけました。このデータセットは、Youtube、Reddit、Twitterからのソーシャルメディアのコメントを集めたものです。

このデータセットの興味深い点は、アノテーターのプロファイル（イデオロギー、収入、人種などの属性）が含まれていることです。残念ながら、これはほとんどのソーシャルメディアデータセットでは珍しいことで、著者はこれに興味を持ちました。また、論文のデータパースペクティヴィズムのアイデアも面白いと感じています。これは、アノテーターがヘイトスピーチの属性について意見が一致しない場合も、それを無視するのではなく、情報として利用するという考えです。

このモデルではアノテーターの情報を活用していませんが、データセットを探索し、アノテーターの情報を活用してこの分類器のバリエーションを作成することをお勧めします。

ここでは、UC Berkeley D-Labのヘイトスピーチデータセットを用いて、BERTに転移学習を行い、人種、宗教、出身地、性別、性的指向、年齢、障害といった独立したターゲットを分類するヘイトスピーチ多ラベル分類器を作成しました。論文はThe Measuring Hate Speech Corpus: Leveraging Rasch Measurement Theory for Data Perspectivismです。

✨ 主な機能

• 人種、宗教、出身地、性別、性的指向、年齢、障害といった多様なターゲットに対するヘイトスピーチを分類できます。
• UC Berkeleyの包括的なデータセットを利用しています。
• BERTモデルの転移学習により構築されています。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。