Multilingual Sarcasm Detector

🚀 多言語皮肉検出器

多言語皮肉検出器は、ニュース記事のタイトルから皮肉を検出するために構築されたテキスト分類モデルです。bert-base-multilingual-uncased をファインチューニングしており、訓練データはKaggleで入手可能な既製のデータセットと、英語、オランダ語、イタリア語の複数の新聞からスクレイピングしたデータで構成されています。

ラベル: 0 → 皮肉ではない; 1 → 皮肉である

🚀 クイックスタート

多言語皮肉検出器を使用することで、ニュース記事のタイトルから皮肉を検出できます。以下に具体的な使い方を説明します。

✨ 主な機能

• 複数言語（英語、オランダ語、イタリア語）のニュース記事タイトルから皮肉を検出します。
• 事前学習済みのモデル bert-base-multilingual-uncased をファインチューニングしているため、高精度な検出が可能です。

📦 データソース

データセット

• 英語データ: Kaggle: News Headlines Dataset For Sarcasm Detection
• オランダ語の非皮肉データ: Kaggle: Dutch News Articles

スクレイピングデータ

• オランダ語の皮肉ニュース: De Speld
• イタリア語の非皮肉ニュース: Il Giornale
• イタリア語の皮肉ニュース: Lercio

📦 訓練データセット

• helinivan/sarcasm_headlines_multilingual

📦 コードベース

• Gitリポジトリ: 公式リポジトリ

💻 使用例

基本的な使用法

from transformers import AutoModelForSequenceClassification
from transformers import AutoTokenizer
import string

def preprocess_data(text: str) -> str:
   return text.lower().translate(str.maketrans("", "", string.punctuation)).strip()

MODEL_PATH = "helinivan/multilingual-sarcasm-detector"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_PATH)

text = "CIA Realizes It's Been Using Black Highlighters All These Years."
tokenized_text = tokenizer([preprocess_data(text)], padding=True, truncation=True, max_length=256, return_tensors="pt")
output = model(**tokenized_text)
probs = output.logits.softmax(dim=-1).tolist()[0]
confidence = max(probs)
prediction = probs.index(confidence)
results = {"is_sarcastic": prediction, "confidence": confidence}

出力結果:

{'is_sarcastic': 1, 'confidence': 0.9374828934669495}

📚 性能