Indobertweet HateSpeech

🚀 IndoBERTweet-HateSpeech

IndoBERTweet-HateSpeechは、インドネシア語のハイトスピーチを検出するために微調整されたモデルです。IndoToxic2024データセットで訓練され、高精度でハイトスピーチを識別することができます。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。まず、必要なライブラリをインポートし、モデルとトークナイザーをロードします。その後、テキストを入力して予測結果を得ることができます。

✨ 主な機能

• IndoToxic2024データセットで微調整されたIndoBERTweetモデル。
• 精度0.89、マクロF1値0.78でハイトスピーチを識別。
• 層化10分割交差検証による性能評価。

📦 インストール

このモデルを使用するには、transformersとtorchライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers torch

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

# Specify the model and tokenizer name
model_name = "Exqrch/IndoBERTweet-HateSpeech"
tokenizer_name = "indolem/indobertweet-base-uncased"

# Load the pre-trained model
model = AutoModelForSequenceClassification.from_pretrained(model_name)

# Load the tokenizer
tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)

text = "selamat pagi semua!"

output = model(**tokenizer(text, return_tensors="pt"))
logits = output.logits

# Get the predicted class label
predicted_class = torch.argmax(logits, dim=-1).item()

print(predicted_class)
--- Output ---
> 0
--- End of Output ---

📚 ドキュメント

サポートされるトークナイザー

• indolem/indobertweet-base-uncased

制限事項

このモデルはインドネシア語のテキストのみで訓練されています。コードスイッチングされたテキストに対する性能に関する情報はありません。

サンプル出力

Model name: Exqrch/IndoBERTweet-HateSpeech
Text 1: Kenapa sih mereka berantem terus?
Prediction: 0
Text 2: Orang gila emang elu!
Prediction: 1

引用

このモデルを使用する場合は、以下の文献を引用してください。

@article{susanto2024indotoxic2024,
      title={IndoToxic2024: A Demographically-Enriched Dataset of Hate Speech and Toxicity Types for Indonesian Language}, 
      author={Lucky Susanto and Musa Izzanardi Wijanarko and Prasetia Anugrah Pratama and Traci Hong and Ika Idris and Alham Fikri Aji and Derry Wijaya},
      year={2024},
      eprint={2406.19349},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2406.19349}, 
}

📄 ライセンス

このモデルはCC BY-SA 4.0ライセンスの下で提供されています。