Rubertconv Toxic Editor

🚀 RuBERTConv Toxic Editor

rubert-base-cased-conversational をベースにした、文章の脱毒性化を行うタグ付けモデルです。

🚀 クイックスタート

このモデルは、文章の脱毒性化を行うためのタグ付けを行います。4つのクラスを出力し、mask filler と組み合わせて使用することを想定しています。

✨ 主な機能

• 4つの可能なクラスを出力します。
  • Equal = トークンを保存
  • Replace = トークンをマスクで置き換える
  • Delete = トークンを削除
  • Insert = トークンの前にマスクを挿入
• mask filler と組み合わせて使用できます。

📦 インストール

このモデルはHugging FaceのTransformersライブラリを使用しています。必要なライブラリをインストールすることで使用できます。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, pipeline

tagger_model_name = "IlyaGusev/rubertconv_toxic_editor"

device = "cuda" if torch.cuda.is_available() else "cpu"
device_num = 0 if device == "cuda" else -1
tagger_pipe = pipeline(
    "token-classification",
    model=tagger_model_name,
    tokenizer=tagger_model_name,
    framework="pt",
    device=device_num,
    aggregation_strategy="max"
)

text = "..."
tagger_predictions = tagger_pipe([text], batch_size=1)
sample_predictions = tagger_predictions[0]
print(sample_predictions)

コラボでの使用

Colabでの使用例はこちらです。

📚 ドキュメント

トレーニングデータ

• データセット: russe_detox_2022

トレーニング手順

• 並列コーパスの変換: compute_tags.py
• トレーニングスクリプト: train.py
• パイプラインステップ: dvc.yaml, train_marker

📄 ライセンス

このモデルはApache 2.0ライセンスの下で公開されています。