Rubertconv Toxic Clf

🚀 RuBERTConv毒性分类器

本项目基于预训练模型构建了一个文本毒性分类器，能够有效识别俄语文本中的毒性内容，为俄语社区的内容审核和安全保障提供支持。

🚀 快速开始

你可以通过以下链接在Colab中快速体验该模型：Colab链接

代码示例

from transformers import pipeline

model_name = "IlyaGusev/rubertconv_toxic_clf"
pipe = pipeline("text-classification", model=model_name, tokenizer=model_name, framework="pt") 

text = "Ты придурок из интернета"
pipe([text])

✨ 主要特性

• 基于rubert-base-cased-conversational模型构建，具有良好的俄语语言理解能力。
• 能够对俄语文本进行毒性分类，帮助识别有害内容。

📚 详细文档

模型描述

该模型基于rubert-base-cased-conversational模型进行构建。

预期用途和限制

通过提供的代码示例和Colab链接，你可以方便地使用该模型进行文本毒性分类。

训练数据

模型使用了多个数据集进行训练，具体如下：

同时，在训练过程中还进行了以下数据增强操作：

• 将 ё 替换为 е
• 移除或添加 "?" 或 "!"
• 修正大写字母
• 拼接毒性和非毒性文本
• 拼接两个非毒性文本
• 从词汇表中添加毒性词汇
• 添加拼写错误
• 使用 "*", "@", "$" 掩盖毒性词汇

📄 许可证

本项目采用Apache-2.0许可证。