Hate Ita

🚀 HATE - ITA Base

HATE - ITAは、イタリア語のソーシャルメディアテキスト用の二値的なヘイトスピーチ分類モデルです。このモデルは、イタリア語のオンラインヘイトスピーチを適切に識別するために開発され、多言語モデルを利用して高い分類性能を発揮します。

🚀 クイックスタート

このモデルを使用するには、以下の手順で進めることができます。まず、必要なライブラリをインポートし、パイプラインを設定します。その後、テキストを分類することができます。

from transformers import pipeline
classifier = pipeline("text - classification",model='MilaNLProc/hate - ita',top_k=2)
prediction = classifier("ti odio")
print(prediction)

✨ 主な機能

• 多言語モデルの利用：HATE - ITAは、多言語モデルをベースにしており、英語の大量のデータと利用可能なイタリア語のデータセットで学習されています。これにより、単言語モデルよりも優れた性能を発揮します。
• 特定言語のスラングへの適応：イタリア語固有のスラングにもうまく適応し、ヘイトスピーチを適切に識別することができます。

📦 インストール

このモデルはHugging Faceからダウンロードすることができます。以下のモデルが利用可能です。

💻 使用例

基本的な使用法

from transformers import pipeline
classifier = pipeline("text-classification",model='MilaNLProc/hate-ita',top_k=2)
prediction = classifier("ti odio")
print(prediction)

📚 ドキュメント

概要

オンライン上のヘイトスピーチは危険な現象であり、適切かつ迅速に対処する必要があります。自然言語処理はこの目的に成功裏に利用されていますが、多くの研究努力は英語に向けられています。この選択は、非英語の言語における分類能力を著しく制限します。この論文では、イタリア語のテキストにおけるヘイトスピーチを識別するためのいくつかの学習フレームワークをテストしました。私たちは、HATE - ITA、英語の大量のデータと利用可能なイタリア語のデータセットで学習された多言語モデルのセットを公開します。HATE - ITAは単言語モデルよりも優れた性能を発揮し、言語固有のスラングにもうまく適応するようです。私たちの知見は、他の中低リソースのコミュニティにおける研究を促進し、イタリア語のコミュニティに貴重なベンチマークツールを提供することが期待されます。

モデルの詳細

このモデルは、XLM - Tモデルをファインチューニングしたバージョンです。

結果

このモデルは、テストセットでF1値が0.83を達成しています。

🔧 技術詳細

このモデルは、XLM - Tモデルをベースにしており、英語の大量のデータとイタリア語のデータセットで学習されています。多言語モデルを利用することで、単言語モデルよりも優れた性能を発揮し、言語固有のスラングにも適応することができます。

📄 ライセンス

このモデルは[GNU GPLv3](https://choosealicense.com/licenses/gpl - 3.0/)ライセンスの下で公開されています。

付記

• 著者：Debora Nozza、Federico Bianchi、Giuseppe Attanasio
• ウィジェットのサンプル
  • テキスト: "Ci sono dei bellissimi capibara!"、サンプルタイトル: "Hate Speech Classification 1"
  • テキスト: "Sei una testa di cazzo!!"、サンプルタイトル: "Hate Speech Classification 2"
  • テキスト: "Ti odio!"、サンプルタイトル: "Hate Speech Classification 3"