Hate Speech It

🚀 イタリア語のソーシャルメディアコンテンツ用ヘイトスピーチ分類器

イタリア語のソーシャルメディアコンテンツのヘイトスピーチ分類を行う単言語モデルです。このモデルは、119,670件のYouTubeコメントで訓練され、21,072件のYouTubeコメントからなる独立したテストセットでテストされました。イタリア語のALBERTO事前学習言語モデルに基づいています。

🚀 クイックスタート

このモデルはイタリア語のソーシャルメディアコンテンツのヘイトスピーチ分類に特化しています。訓練データとして大量のYouTubeコメントを使用し、イタリア語のALBERTO事前学習言語モデルをベースに構築されています。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 ドキュメント

引用

Kralj Novak, P., Scantamburlo, T., Pelicon, A., Cinelli, M., Mozetič, I., & Zollo, F. (2022, July). Handling disagreement in hate speech modelling. In International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems (pp. 681-695). Cham: Springer International Publishing. https://link.springer.com/chapter/10.1007/978-3-031-08974-9_54

トークナイザー

訓練中は、元のイタリア語ALBERTOトークナイザーを使用してテキストを前処理しました。推論にも同じトークナイザーを使用することをおすすめします。

モデル出力

このモデルは、各入力を以下の4つの異なるクラスのいずれかに分類します。

• 0 - 許容可能
• 1 - 不適切
• 2 - 不快な内容
• 3 - 暴力的な内容