Rubert Ner Toxicity

🚀 NER毒性モデル

このプロジェクトは、cointegrated/rubert-tiny-toxicity モデルを toxic_dataset_ner データセットでファインチューニングしたものです。このプロジェクトはロシア語データに特化しており、テキスト内の有害な内容に対する固有表現抽出（NER）を実現することを目的としています。

🚀 クイックスタート

📦 インストール

!pip install transformers > /dev/null

💻 使用例

基本的な使用法

from transformers import (
    AutoModelForTokenClassification, 
    AutoTokenizer, 
    pipeline
)

model = AutoModelForTokenClassification.from_pretrained('tesemnikov-av/rubert-ner-toxicity')
tokenizer = AutoTokenizer.from_pretrained('tesemnikov-av/rubert-ner-toxicity')

pipe = pipeline(model=model, tokenizer=tokenizer, task='ner', aggregation_strategy='average')
text = "Они охриневшие там все придурки!!"

print(text)
print(pipe(text))

上記のコードは、ファインチューニングされたモデルをロードし、テキスト内の有害な内容に対する固有表現抽出を行い、結果を出力する方法を示しています。