Distilbert Nsfw Text Classifier

🚀 文本分类模型：安全与不适宜内容检测

本模型旨在将文本分为“安全”和“不适宜工作环境（NSFW）”两类，适用于内容审核和过滤应用。它基于Distilbert-base模型，使用包含190,000个标记文本样本的数据集进行训练。在性能方面，F1分数达到了0.974。

✨ 主要特性

• 精准分类：能够准确地将文本分为“安全”和“不适宜工作环境（NSFW）”两类。
• 高性能：在F1、准确率、精确率和召回率等指标上表现出色。
• 易于集成：可以轻松集成到大型系统中，用于内容审核和过滤。

📦 安装指南

文档未提供具体安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("eliasalbouzidi/distilbert-nsfw-text-classifier")

model = AutoModelForSequenceClassification.from_pretrained("eliasalbouzidi/distilbert-nsfw-text-classifier")

高级用法

from transformers import pipeline

pipe = pipeline("text-classification", model="eliasalbouzidi/distilbert-nsfw-text-classifier")

📚 详细文档

模型描述

该模型可直接用于将文本分类为“安全”或“不适宜工作环境（NSFW）”。它接受字符串文本作为输入，并输出两个类别上的概率分布，概率最高的类别即为预测类别。

• 开发者：Elias Al Bouzidi, Massine El Khader, Abdellah Oumida, Mohammed Sbaihi, Eliott Binard
• 模型类型：60M
• 语言（NLP）：英语
• 许可证：apache - 2.0

使用场景

该模型可集成到更大的系统中，用于内容审核或过滤。

训练数据

用于微调文本分类模型的训练数据包含一个大型文本语料库，这些文本被标记为“安全”和“不适宜工作环境（NSFW）”两类。数据集共有190,000个示例，分布如下：

• 117,000个标记为“安全”的示例
• 63,000个标记为“不适宜工作环境（NSFW）”的示例

该数据集是通过从网络上抓取数据并利用现有的开源数据集组装而成的。大部分数据集由图像和场景的描述组成。其主要目的是防止扩散模型生成不适宜内容，但也可用于其他审核目的。

你可以访问该数据集：https://huggingface.co/datasets/eliasalbouzidi/NSFW-Safe-Dataset

训练超参数

训练过程中使用了以下超参数：

• 学习率：1e - 05
• 训练批次大小：32
• 评估批次大小：32
• 随机种子：42
• 优化器：Adam（beta1 = 0.9，beta2 = 0.999，epsilon = 1e - 08）
• 学习率调度器类型：线性
• 学习率调度器热身步数：600
• 训练轮数：3
• 混合精度训练：Native AMP

训练结果

我们选择了F - beta1.6分数最高的检查点。

框架版本

• Transformers 4.40.1
• Pytorch 2.3.0 + cu121
• Datasets 2.19.0
• Tokenizers 0.19.1

适用范围外的使用

本模型不得用于任何非法活动。

🔧 技术细节

模型可能会根据所使用的训练数据表现出偏差。对于非英语文本，模型的性能可能不佳。对于讽刺、反语或其他修辞手法的文本，模型也可能难以处理。此外，模型可能会产生误报或漏报，从而导致文本分类错误。

建议

用户应了解模型的局限性和偏差，并相应地使用它。同时，用户应做好处理误报和漏报的准备。建议针对特定的下游任务对模型进行微调，并在相关数据集上评估其性能。

📄 许可证

本模型使用的许可证为apache - 2.0。

📞 联系我们

如果您有任何问题或反馈，请发送邮件至eliasalbouzidi@gmail.com。