Distilbert Base German Cased Toxic Comments

🚀 德語有毒評論分類

本項目的模型用於檢測德語評論中的有毒或潛在有害內容，通過在多個德語數據集上微調預訓練模型，實現對評論毒性的分類。

🔍 內容檢測與章節生成

經過對原文檔的掃描，發現文檔包含模型描述、預期用途與限制、使用方法、侷限性和偏差、訓練數據、訓練過程、評估結果等實質內容，將按照對應模板生成美化後的文檔。

🚀 快速開始

模型使用示例

from transformers import pipeline

model_hub_url = 'https://huggingface.co/ml6team/distilbert-base-german-cased-toxic-comments'
model_name = 'ml6team/distilbert-base-german-cased-toxic-comments'

toxicity_pipeline = pipeline('text-classification', model=model_name, tokenizer=model_name)

comment = "Ein harmloses Beispiel"
result = toxicity_pipeline(comment)[0]
print(f"Comment: {comment}\nLabel: {result['label']}, score: {result['score']}")

✨ 主要特性

• 針對性強：專門針對德語評論進行毒性檢測。
• 多數據集訓練：在多個德語數據集上進行微調，提高檢測的準確性。

📦 安裝指南

原文檔未提及具體安裝步驟，跳過此章節。

💻 使用示例

基礎用法

from transformers import pipeline

model_hub_url = 'https://huggingface.co/ml6team/distilbert-base-german-cased-toxic-comments'
model_name = 'ml6team/distilbert-base-german-cased-toxic-comments'

toxicity_pipeline = pipeline('text-classification', model=model_name, tokenizer=model_name)

comment = "Ein harmloses Beispiel"
result = toxicity_pipeline(comment)[0]
print(f"Comment: {comment}\nLabel: {result['label']}, score: {result['score']}")

📚 詳細文檔

模型描述

該模型旨在檢測有毒或潛在有害的評論。我們在包含毒性、褻瀆、冒犯或仇恨言論的五個德語數據集的組合上，對德語DistilBERT模型 distilbert-base-german-cased 進行了微調。

預期用途與限制

此模型可用於檢測德語評論中的毒性。然而，毒性的定義較為模糊，模型可能無法檢測到所有的毒性情況。並且，該模型只能檢測德語評論中的毒性，無法處理其他語言。

侷限性和偏差

模型在包含來自不同社交網絡和互聯網社區示例的數據集組合上進行訓練，這僅代表了可能的毒性實例的一小部分，其他領域的實例可能無法被可靠檢測。

🔧 技術細節

訓練數據

訓練數據集結合了以下五個數據集：

• GermEval18 [數據集]
  • 標籤：辱罵、褻瀆、毒性
• GermEval21 [數據集]
  • 標籤：毒性
• IWG仇恨言論數據集 [論文, 數據集]
  • 標籤：仇恨言論
• 2017年Breitschneider和Peters的社交媒體中針對外國人的冒犯性言論檢測 [數據集]
  • 標籤：仇恨
• HASOC：2019年仇恨言論和冒犯性內容 [數據集]
  • 標籤：冒犯、褻瀆、仇恨

這些數據集包含從褻瀆到仇恨言論再到毒性的不同標籤。在組合數據集中，這些標籤被歸納為 有毒 和 無毒，總共包含23,515個示例。需要注意的是，這些數據集的示例數量差異很大。

訓練過程

訓練集和測試集的創建方式為：如果有預定義的訓練/測試分割，則使用該分割；否則，使用80%的示例進行訓練，20%進行測試。最終得到17,072個訓練示例和6,443個測試示例。

模型訓練了2個週期，使用以下參數：

training_args = TrainingArguments(
    per_device_train_batch_size=batch_size,
    per_device_eval_batch_size=batch_size,
    num_train_epochs=2,
    evaluation_strategy="steps",
    logging_strategy="steps",
    logging_steps=100,
    save_total_limit=5,
    learning_rate=2e-5,
    weight_decay=0.01,
    metric_for_best_model='accuracy',
    load_best_model_at_end=True
)

評估結果

模型評估在數據集的1/10上進行，該部分作為測試數據集。

📄 許可證

原文檔未提及許可證信息，跳過此章節。