One For All Toxicity V3

🚀 オールインワン毒性検出モデル v3

このモデルは、多言語のテキスト分類に特化したモデルで、有害なテキストを検出する能力を持っています。多くの言語に対応し、高い精度で分類を行うことができます。

🚀 クイックスタート

Distilbertスパム防御モデルへのリンク

v1（TensorFlow）モデルをSavedModel形式で このページ で見つけることができます。v1モデルのライセンスはApache 2.0です。

📚 ドキュメント

モデル情報

バージョン比較

モデル選択の背景

Toxi Text 3Mのデータセットだけでトレーニングすると、短いテキストを低い精度で分類するバイアスのあるモデルになるため、手動で追加のデータをアノテーションし、トレーニングセットに追加しました。

v2でテストしたモデルには、roberta、xlm - roberta、bert - small、bert - base - cased/uncased、bert - multilingual - cased/uncased、およびalberta - large - v2があります。これらの中で、bert - multilingual - casedを選択したのは、この特定のタスクに対して他のモデルと同じリソースでより良い性能を発揮するためです。

💻 使用例

基本的な使用法

text = "hello world!"

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
tokenizer = AutoTokenizer.from_pretrained("FredZhang7/one-for-all-toxicity-v3")
model = AutoModelForSequenceClassification.from_pretrained("FredZhang7/one-for-all-toxicity-v3").to(device)

encoding = tokenizer.encode_plus(
    text,
    add_special_tokens=True,
    max_length=208,
    padding="max_length",
    truncation=True,
    return_tensors="pt"
)
print('device:', device)
input_ids = encoding["input_ids"].to(device)
attention_mask = encoding["attention_mask"].to(device)

with torch.no_grad():
    outputs = model(input_ids, attention_mask=attention_mask)
    logits = outputs.logits
    predicted_labels = torch.argmax(logits, dim=1)

print(predicted_labels)

📄 ライセンス

• オールインワン毒性検出モデルv3を配布、リミックス、適応、または拡張する場合は、README.md、アプリケーションの説明、研究、またはウェブサイトで「AIstrova Technologies Inc.」をクレジットしてください。