Multilingual Sarcasm Detector

🚀 多語言諷刺檢測器

多語言諷刺檢測器是一個文本分類模型，用於從新聞文章標題中檢測諷刺意味。它基於 bert-base-multilingual-uncased 進行微調，訓練數據包括 Kaggle 上現有的數據集，以及從英文、荷蘭文和意大利文的多家報紙上抓取的數據。

標籤： 0 -> 非諷刺； 1 -> 諷刺

🚀 快速開始

分類示例

from transformers import AutoModelForSequenceClassification
from transformers import AutoTokenizer
import string

def preprocess_data(text: str) -> str:
   return text.lower().translate(str.maketrans("", "", string.punctuation)).strip()

MODEL_PATH = "helinivan/multilingual-sarcasm-detector"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_PATH)

text = "CIA Realizes It's Been Using Black Highlighters All These Years."
tokenized_text = tokenizer([preprocess_data(text)], padding=True, truncation=True, max_length=256, return_tensors="pt")
output = model(**tokenized_text)
probs = output.logits.softmax(dim=-1).tolist()[0]
confidence = max(probs)
prediction = probs.index(confidence)
results = {"is_sarcastic": prediction, "confidence": confidence}

輸出：

{'is_sarcastic': 1, 'confidence': 0.9374828934669495}

✨ 主要特性

• 支持多語言，可處理英文、荷蘭文和意大利文的新聞標題。
• 基於預訓練的 BERT 模型進行微調，提高了諷刺檢測的準確性。

📦 安裝指南

文檔未提供安裝步驟，可參考代碼庫中的說明進行安裝。

📚 詳細文檔

源數據

數據集

• 英文數據：Kaggle: News Headlines Dataset For Sarcasm Detection。
• 荷蘭文非諷刺數據：Kaggle: Dutch News Articles

抓取的數據

• 來自 De Speld 的荷蘭文諷刺新聞
• 來自 Il Giornale 的意大利文非諷刺新聞
• 來自 Lercio 的意大利文諷刺新聞

訓練數據集

• helinivan/sarcasm_headlines_multilingual

代碼庫

• Git 倉庫：官方倉庫

📊 性能表現