Offensive Speech Detection

🚀 微調DistilBERT用於冒犯性/仇恨言論檢測模型卡片

本模型是針對文本數據中冒犯性或仇恨言論檢測任務進行微調的DistilBERT模型，在保持高效性能的同時，能精準識別不當內容，可廣泛應用於內容審核等場景，為網絡環境的安全和健康保駕護航。

🚀 快速開始

若要使用此模型進行冒犯性/仇恨言論檢測，可按以下步驟操作：

from transformers import pipeline

classifier = pipeline("text-classification", model="Falconsai/offensive_speech_detection")
text = "Your text to classify here."
result = classifier(text)

✨ 主要特性

• 高效準確：作為BERT變壓器模型的變體，DistilBERT經過蒸餾處理，在保持高效性能的同時，仍能維持較高的準確性。
• 針對性微調：針對冒犯性/仇恨言論檢測任務進行了專門的微調，通過精心調整超參數（如批量大小和學習率），確保模型在該任務上的最佳性能。
• 多樣化訓練：在一個專門為冒犯性/仇恨言論檢測設計的專有數據集上進行訓練，該數據集包含多種文本樣本，標註為“非冒犯性”或“冒犯性”，使模型能夠準確識別冒犯性內容。

📚 詳細文檔

模型描述

微調DistilBERT是BERT變壓器模型的一個變體，經過蒸餾處理以實現高效性能，同時保持高準確性。它已針對文本數據中的冒犯性/仇恨言論檢測這一特定任務進行了調整和微調。

名為“distilbert-base-uncased”的模型在大量文本數據上進行了預訓練，使其能夠捕捉自然語言文本中的語義細微差別和上下文信息。在微調過程中，對超參數設置（包括批量大小和學習率）進行了精心調整，以確保模型在冒犯性/仇恨言論檢測任務上的最佳性能。

在微調過程中，選擇了批量大小為16以實現高效計算和學習。此外，選擇了學習率（2e - 5）以在快速收斂和穩定優化之間取得平衡，確保模型不僅能快速學習，還能在整個訓練過程中穩步提升其能力。

該模型在一個專有數據集（< 100k）上進行了訓練，該數據集專門為冒犯性/仇恨言論檢測而設計。數據集由文本樣本組成，每個樣本都標註為“非冒犯性”或“冒犯性”。數據集中的多樣性使模型能夠準確識別冒犯性內容。這個數據集是從關於該主題的研究數據集以及新聞標題中組合而來的。所有重複項都被刪除，並精心確保了數據集的質量。

這種精心訓練過程的目標是使模型具備有效檢測文本數據中冒犯性和仇恨言論的能力。最終得到的模型能夠為內容審核和安全做出重要貢獻，同時保持高精度和可靠性。

預期用途與侷限性

預期用途

• 冒犯性/仇恨言論檢測：該模型的主要預期用途是檢測文本數據中的冒犯性或仇恨言論。它非常適合在各種應用中過濾和識別不適當的內容。
• 特別說明：數據表明，“like”一詞在貶義語境中最常被用作比較陳述。
• 在“冒犯性言論數據集”中有許多這樣的實例。“You look like X” 或 “He smells like X” 非常常見。
• 此外，值得注意的是，缺乏標點符號在“冒犯性”數據集中很常見。
• 因此，模型也會根據訓練數據中的這些特徵來識別冒犯性內容。

侷限性

• 特定任務微調：雖然該模型擅長冒犯性/仇恨言論檢測，但在應用於其他自然語言處理任務時，其性能可能會有所不同。
• 有興趣將此模型用於不同任務的用戶應探索模型中心提供的微調版本，以獲得最佳結果。

訓練數據

該模型的訓練數據包括一個專門為冒犯性/仇恨言論檢測設計的專有數據集。該數據集包含各種文本樣本，分為“非冒犯性”和“冒犯性”兩類。訓練過程旨在使模型能夠有效區分冒犯性和非冒犯性內容。

訓練統計信息

負責任使用

在將此模型應用於實際應用中，特別是涉及潛在敏感內容的應用時，必須負責任且合乎道德地使用該模型，遵守內容指南和適用法規。

參考資料

• Hugging Face模型中心
• DistilBERT論文

⚠️ 重要提示

模型的性能可能會受到其微調數據的質量和代表性的影響。建議用戶評估模型對其特定應用和數據集的適用性。

📄 許可證

本模型採用Apache 2.0許可證。