Rut5 Base Detox

🚀 俄語文本去毒模型

這是一個用於俄語文本去毒的模型，基於特定競賽數據訓練，能將有毒的俄語文本轉換為無毒文本，為俄語社區提供健康的交流環境。

🚀 快速開始

這是在 “RUSSE 2022: Russian Text Detoxification Based on Parallel Corpora” 競賽的 訓練集 上訓練的去毒基線模型。源句子是來自 Odnoklassniki、Pikabu 和 Twitter 平臺的俄語有毒消息。基礎模型是 ruT5。

💻 使用示例

基礎用法

from transformers import T5ForConditionalGeneration, AutoTokenizer

base_model_name = 'ai-forever/ruT5-base'
model_name = 's-nlp/ruT5-base-detox'

tokenizer = AutoTokenizer.from_pretrained(base_model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

input_ids = tokenizer.encode('Это полная хуйня!', return_tensors='pt')
output_ids = model.generate(input_ids, max_length=50, num_return_sequences=1)
output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(output_text)
# Это полный бред!

📚 詳細文檔

引用信息

@article{dementievarusse,
  title={RUSSE-2022: Findings of the First Russian Detoxification Shared Task Based on Parallel Corpora},
  author={Dementieva, Daryna and Logacheva, Varvara and Nikishina, Irina and Fenogenova, Alena and Dale, David and Krotova, Irina and Semenov, Nikita and Shavrina, Tatiana and Panchenko, Alexander}
}

模型信息

許可證

此模型採用 OpenRAIL++ 許可證，該許可證支持開發各種服務於公共利益的技術，包括工業和學術領域。