Rubertconv Toxic Clf

🚀 RuBERTConv毒性分類器

本項目基於預訓練模型構建了一個文本毒性分類器，能夠有效識別俄語文本中的毒性內容，為俄語社區的內容審核和安全保障提供支持。

🚀 快速開始

你可以通過以下鏈接在Colab中快速體驗該模型：Colab鏈接

代碼示例

from transformers import pipeline

model_name = "IlyaGusev/rubertconv_toxic_clf"
pipe = pipeline("text-classification", model=model_name, tokenizer=model_name, framework="pt") 

text = "Ты придурок из интернета"
pipe([text])

✨ 主要特性

• 基於rubert-base-cased-conversational模型構建，具有良好的俄語語言理解能力。
• 能夠對俄語文本進行毒性分類，幫助識別有害內容。

📚 詳細文檔

模型描述

該模型基於rubert-base-cased-conversational模型進行構建。

預期用途和限制

通過提供的代碼示例和Colab鏈接，你可以方便地使用該模型進行文本毒性分類。

訓練數據

模型使用了多個數據集進行訓練，具體如下：

同時，在訓練過程中還進行了以下數據增強操作：

• 將 ё 替換為 е
• 移除或添加 "?" 或 "!"
• 修正大寫字母
• 拼接毒性和非毒性文本
• 拼接兩個非毒性文本
• 從詞彙表中添加毒性詞彙
• 添加拼寫錯誤
• 使用 "*", "@", "$" 掩蓋毒性詞彙

📄 許可證

本項目採用Apache-2.0許可證。