Distilbert Nsfw Text Classifier

🚀 NSFWテキスト分類モデル

このモデルは、テキストを「safe」（適切）または「nsfw」（不適切）の2つのクラスに分類するために設計されており、コンテンツのモデレーションやフィルタリングアプリケーションに適しています。

🚀 クイックスタート

このモデルは、190,000のラベル付きテキストサンプルを含むデータセットを使用してトレーニングされており、「safe」と「nsfw」の2つのクラスに分類されます。モデルはDistilbert-baseモデルをベースに構築されており、F1スコアで0.974を達成しています。

モデルの直接読み込み

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("eliasalbouzidi/distilbert-nsfw-text-classifier")

model = AutoModelForSequenceClassification.from_pretrained("eliasalbouzidi/distilbert-nsfw-text-classifier")

パイプラインの使用

from transformers import pipeline

pipe = pipeline("text-classification", model="eliasalbouzidi/distilbert-nsfw-text-classifier")

✨ 主な機能

• テキストを「safe」または「nsfw」の2つのクラスに分類することができます。
• コンテンツのモデレーションやフィルタリングアプリケーションに適しています。
• Distilbert-baseモデルをベースに構築されており、高性能を発揮します。

📦 インストール

このモデルはHugging FaceのTransformersライブラリを使用しています。必要なライブラリをインストールするには、以下のコマンドを実行してください。

pip install transformers datasets torch

💻 使用例

基本的な使用法

from transformers import pipeline

pipe = pipeline("text-classification", model="eliasalbouzidi/distilbert-nsfw-text-classifier")

text = "A family hiking in the mountains"
result = pipe(text)
print(result)

📚 ドキュメント

モデルの説明

このモデルは、入力されたテキストを「safe」または「nsfw」の2つのクラスに分類します。テキストを入力として受け取り、2つのクラスに対する確率分布を出力します。最も確率の高いクラスが予測クラスとして選択されます。

• 開発者: Elias Al Bouzidi, Massine El Khader, Abdellah Oumida, Mohammed Sbaihi, Eliott Binard
• モデルタイプ: 60M
• 言語 (NLP): 英語
• ライセンス: apache-2.0

用途

このモデルは、コンテンツのモデレーションやフィルタリングのために、より大きなシステムに統合することができます。

トレーニングデータ

このテキスト分類モデルを微調整するためのトレーニングデータは、「safe」と「nsfw」の2つのクラスのいずれかでラベル付けされた大量のテキストコーパスで構成されています。データセットには合計190,000のサンプルが含まれており、以下のように分布しています。

• 117,000のサンプルが「safe」とラベル付けされています。
• 63,000のサンプルが「nsfw」とラベル付けされています。

このデータセットは、ウェブからデータをスクレイピングし、既存のオープンソースデータセットを利用して作成されました。データセットの大部分は、画像やシーンの説明で構成されています。主な目的は、拡散モデルがNSFWコンテンツを生成するのを防ぐことですが、他のモデレーション目的にも使用できます。

データセットにアクセスするには、以下のリンクを参照してください。 https://huggingface.co/datasets/eliasalbouzidi/NSFW-Safe-Dataset

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

トレーニング結果

最も高いF-beta1.6スコアを持つチェックポイントが選択されました。

フレームワークのバージョン

• Transformers 4.40.1
• Pytorch 2.3.0+cu121
• Datasets 2.19.0
• Tokenizers 0.19.1

適用範囲外の使用

このモデルは、違法行為に使用してはなりません。

🔧 技術詳細

このモデルはDistilbert-baseモデルをベースに構築されており、大量のラベル付きテキストデータを使用してトレーニングされています。トレーニングデータは、ウェブからスクレイピングされたデータと既存のオープンソースデータセットを組み合わせて作成されています。

モデルの性能を向上させるために、入力テキストを前処理することが必要です。前処理関数については、以下のスペースのapp.pyファイルを参照してください。 https://huggingface.co/spaces/eliasalbouzidi/distilbert-nsfw-text-classifier

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で公開されています。

バイアス、リスク、および制限

このモデルは、使用されたトレーニングデータに基づいてバイアスを示す可能性があります。英語以外の言語で書かれたテキストに対しては、性能が低下する可能性があります。また、皮肉や皮肉、または他の比喩的な表現に対しては苦労する可能性があります。モデルは、偽陽性または偽陰性を生成する可能性があり、これによりテキストの誤分類が生じる可能性があります。

推奨事項

ユーザーは、モデルの制限とバイアスを認識し、それに応じて使用する必要があります。また、偽陽性と偽陰性を処理する準備をする必要があります。特定の下流タスクに対してモデルを微調整し、関連するデータセットでその性能を評価することをお勧めします。

お問い合わせ

ご質問やフィードバックがある場合は、eliasalbouzidi@gmail.comまでお問い合わせください。