Russian Toxicity Classifier

🚀 基於BERT的俄語毒性評論分類器

這是一個基於BERT的分類器，它在俄語毒性評論分類任務上表現出色。該模型從對話式Rubert微調而來，使用了來自不同來源的俄語毒性評論數據集進行訓練，能有效識別俄語評論中的毒性內容。

🚀 快速開始

本模型是基於BERT的分類器，從對話式Rubert微調而來。它在兩個俄語毒性評論數據集的合併數據上進行訓練，這兩個數據集分別來自2ch.hk和ok.ru。

✨ 主要特性

• 多源數據訓練：模型使用了來自2ch.hk的俄語毒性評論數據集和來自ok.ru的毒性俄語評論數據集的合併數據進行訓練。
• 數據處理規範：將兩個數據集合並、打亂，並按照80 - 10 - 10的比例劃分為訓練集、開發集和測試集。
• 優秀的性能指標：在測試集上取得了良好的性能指標，如準確率達到0.97等。

📦 安裝指南

暫未提供相關安裝步驟。

💻 使用示例

基礎用法

from transformers import BertTokenizer, BertForSequenceClassification

# load tokenizer and model weights
tokenizer = BertTokenizer.from_pretrained('s-nlp/russian_toxicity_classifier')
model = BertForSequenceClassification.from_pretrained('s-nlp/russian_toxicity_classifier')

# prepare the input
batch = tokenizer.encode('ты супер', return_tensors='pt')

# inference
model(batch)

📚 詳細文檔

性能指標

在測試集上獲得的指標如下：

引用信息

若要引用我們的工作，請使用以下引用格式：

@article{dementieva2022russe,
  title={RUSSE-2022: Findings of the First Russian Detoxification Shared Task Based on Parallel Corpora},
  author={Dementieva, Daryna and Logacheva, Varvara and Nikishina, Irina and Fenogenova, Alena and Dale, David and Krotova, Irina and Semenov, Nikita and Shavrina, Tatiana and Panchenko, Alexander}
}

📄 許可證

本模型採用OpenRAIL++許可證，該許可證支持開發各種服務於公共利益的技術，包括工業和學術領域。

模型信息