Rut5 Base Detox

🚀 クイックスタート

このモデルは、「RUSSE 2022: Russian Text Detoxification Based on Parallel Corpora」コンペティションのトレーニングデータを使用して学習された解毒化のベースラインモデルです。ソース文は、Odnoklassniki、Pikabu、Twitterなどのプラットフォームから収集されたロシア語の有害メッセージです。ベースモデルはruT5です。

💻 使用例

基本的な使用法

from transformers import T5ForConditionalGeneration, AutoTokenizer

base_model_name = 'ai-forever/ruT5-base'
model_name = 's-nlp/ruT5-base-detox'

tokenizer = AutoTokenizer.from_pretrained(base_model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

input_ids = tokenizer.encode('Это полная хуйня!', return_tensors='pt')
output_ids = model.generate(input_ids, max_length=50, num_return_sequences=1)
output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(output_text)
# Это полный бред!

📚 ドキュメント

📄 ライセンス

このモデルはOpenRAIL++ライセンスの下で提供されています。このライセンスは、公共の利益に役立つ産業や学術分野のさまざまな技術開発をサポートしています。

引用

@article{dementievarusse,
  title={RUSSE-2022: Findings of the First Russian Detoxification Shared Task Based on Parallel Corpora},
  author={Dementieva, Daryna and Logacheva, Varvara and Nikishina, Irina and Fenogenova, Alena and Dale, David and Krotova, Irina and Semenov, Nikita and Shavrina, Tatiana and Panchenko, Alexander}
}