Rubert Ner Toxicity

🚀 NER毒性模型

本項目是對 cointegrated/rubert-tiny-toxicity 模型在 toxic_dataset_ner 數據集上進行微調。該項目專注於俄語數據，旨在實現對文本中有毒內容的命名實體識別（NER）。

🚀 快速開始

安裝依賴

!pip install transformers > /dev/null

代碼示例

from transformers import (
    AutoModelForTokenClassification, 
    AutoTokenizer, 
    pipeline
)

model = AutoModelForTokenClassification.from_pretrained('tesemnikov-av/rubert-ner-toxicity')
tokenizer = AutoTokenizer.from_pretrained('tesemnikov-av/rubert-ner-toxicity')

pipe = pipeline(model=model, tokenizer=tokenizer, task='ner', aggregation_strategy='average')
text = "Они охриневшие там все придурки!!"

print(text)
print(pipe(text))

上述代碼展示瞭如何加載微調後的模型，對文本進行有毒內容的命名實體識別，並打印出結果。