Distilbert Nsfw Text Classifier

🚀 文本分類模型：安全與不適宜內容檢測

本模型旨在將文本分為“安全”和“不適宜工作環境（NSFW）”兩類，適用於內容審核和過濾應用。它基於Distilbert-base模型，使用包含190,000個標記文本樣本的數據集進行訓練。在性能方面，F1分數達到了0.974。

✨ 主要特性

• 精準分類：能夠準確地將文本分為“安全”和“不適宜工作環境（NSFW）”兩類。
• 高性能：在F1、準確率、精確率和召回率等指標上表現出色。
• 易於集成：可以輕鬆集成到大型系統中，用於內容審核和過濾。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("eliasalbouzidi/distilbert-nsfw-text-classifier")

model = AutoModelForSequenceClassification.from_pretrained("eliasalbouzidi/distilbert-nsfw-text-classifier")

高級用法

from transformers import pipeline

pipe = pipeline("text-classification", model="eliasalbouzidi/distilbert-nsfw-text-classifier")

📚 詳細文檔

模型描述

該模型可直接用於將文本分類為“安全”或“不適宜工作環境（NSFW）”。它接受字符串文本作為輸入，並輸出兩個類別上的概率分佈，概率最高的類別即為預測類別。

• 開發者：Elias Al Bouzidi, Massine El Khader, Abdellah Oumida, Mohammed Sbaihi, Eliott Binard
• 模型類型：60M
• 語言（NLP）：英語
• 許可證：apache - 2.0

使用場景

該模型可集成到更大的系統中，用於內容審核或過濾。

訓練數據

用於微調文本分類模型的訓練數據包含一個大型文本語料庫，這些文本被標記為“安全”和“不適宜工作環境（NSFW）”兩類。數據集共有190,000個示例，分佈如下：

• 117,000個標記為“安全”的示例
• 63,000個標記為“不適宜工作環境（NSFW）”的示例

該數據集是通過從網絡上抓取數據並利用現有的開源數據集組裝而成的。大部分數據集由圖像和場景的描述組成。其主要目的是防止擴散模型生成不適宜內容，但也可用於其他審核目的。

你可以訪問該數據集：https://huggingface.co/datasets/eliasalbouzidi/NSFW-Safe-Dataset

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：1e - 05
• 訓練批次大小：32
• 評估批次大小：32
• 隨機種子：42
• 優化器：Adam（beta1 = 0.9，beta2 = 0.999，epsilon = 1e - 08）
• 學習率調度器類型：線性
• 學習率調度器熱身步數：600
• 訓練輪數：3
• 混合精度訓練：Native AMP

訓練結果

我們選擇了F - beta1.6分數最高的檢查點。

框架版本

• Transformers 4.40.1
• Pytorch 2.3.0 + cu121
• Datasets 2.19.0
• Tokenizers 0.19.1

適用範圍外的使用

本模型不得用於任何非法活動。

🔧 技術細節

模型可能會根據所使用的訓練數據表現出偏差。對於非英語文本，模型的性能可能不佳。對於諷刺、反語或其他修辭手法的文本，模型也可能難以處理。此外，模型可能會產生誤報或漏報，從而導致文本分類錯誤。

建議

用戶應瞭解模型的侷限性和偏差，並相應地使用它。同時，用戶應做好處理誤報和漏報的準備。建議針對特定的下游任務對模型進行微調，並在相關數據集上評估其性能。

📄 許可證

本模型使用的許可證為apache - 2.0。

📞 聯繫我們

如果您有任何問題或反饋，請發送郵件至eliasalbouzidi@gmail.com。