Dutch Sarcasm Detector

🚀 荷蘭語諷刺檢測器

荷蘭語諷刺檢測器是一個文本分類模型，旨在從新聞文章標題中檢測諷刺意味。它基於 GroNLP/bert-base-dutch-cased 進行微調，訓練數據包括 Kaggle 上現成的數據集，以及從荷蘭諷刺報紙（De Speld）抓取的數據。

🚀 快速開始

標籤說明

• 0 -> 非諷刺
• 1 -> 諷刺

✨ 主要特性

該模型基於荷蘭語預訓練的 BERT 模型進行微調，能夠有效識別荷蘭語新聞標題中的諷刺內容。

📦 安裝指南

文檔未提供具體安裝步驟，可參考代碼庫中的說明。

💻 使用示例

基礎用法

from transformers import AutoModelForSequenceClassification
from transformers import AutoTokenizer
import string

def preprocess_data(text: str) -> str:
   return text.lower().translate(str.maketrans("", "", string.punctuation)).strip()

MODEL_PATH = "helinivan/dutch-sarcasm-detector"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_PATH)

text = "We deden een man een nacht in een vat met cola en nu is hij dood"
tokenized_text = tokenizer([preprocess_data(text)], padding=True, truncation=True, max_length=256, return_tensors="pt")
output = model(**tokenized_text)
probs = output.logits.softmax(dim=-1).tolist()[0]
confidence = max(probs)
prediction = probs.index(confidence)
results = {"is_sarcastic": prediction, "confidence": confidence}

輸出示例：

{'is_sarcastic': 1, 'confidence': 0.8915400505065918}

📚 詳細文檔

源數據

• 數據集：
  • 荷蘭語非諷刺數據：Kaggle: 荷蘭新聞文章
• 抓取數據：
  • 來自 De Speld 的荷蘭語諷刺新聞

訓練數據集

• helinivan/sarcasm_headlines_multilingual

代碼庫

• Git 倉庫：官方倉庫

🔧 技術細節

該模型在性能方面的表現如下：