Modernbert Large Bias Type Classifier

🚀 ModernBERT-large バイアスタイプ分類器

このモデルは、偏見のある文章や質問に対して、複数のカテゴリに分類することで、自然言語処理タスクにおけるバイアス検出と軽減に役立ちます。

🚀 クイックスタート

このモデルは、ModernBERT-large を GUS-Net paper の一部としてMistal 7Bによって生成された合成データセットでファインチューニングしたものです。モデルは、テキストのバイアスを人種、宗教、性別、年齢などの複数のカテゴリに識別し分類するように設計されており、自然言語処理タスクにおけるバイアス検出と軽減に役立つツールとなっています。

✨ 主な機能

• テキストのバイアスを複数のカテゴリに分類することができます。
• 多ラベル分類問題に対応しています。
• 自然言語処理タスクにおけるバイアス検出と軽減に役立ちます。

📦 インストール

このモデルを使用するには、Hugging Face Transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

# モデルをロード
classifier = pipeline(
    "text-classification",
    model="cirimus/modernbert-large-bias-type-classifier",
    return_all_scores=True
)

text = "Tall people are so clumsy."
predictions = classifier(text)

# 予測結果を出力
for pred in sorted(predictions[0], key=lambda x: x['score'], reverse=True)[:5]:
    print(f"{pred['label']}: {pred['score']:.3f}")

# 出力:
# physical: 1.000
# socioeconomic: 0.002
# gender: 0.002
# racial: 0.001
# age: 0.001

📚 ドキュメント

モデルの詳細

モデルの作成方法

このモデルは、以下のハイパーパラメータを使用してバイアス検出のためにファインチューニングされました。

• 学習率: 3e-5
• バッチサイズ: 16
• 重み減衰: 0.01
• ウォームアップステップ: 500
• オプティマイザ: AdamW
• 評価指標: 精度、再現率、F1スコア（加重平均）、正解率

データセット

合成データセットは、GUS-Net論文の一部としてMistal 7Bによって生成された偏見のある文章と質問で構成されています。これは11のバイアスカテゴリをカバーしています。

1. 人種
2. 宗教
3. 性別
4. 年齢
5. 国籍
6. 性的指向
7. 社会経済的地位
8. 教育
9. 障害
10. 政治
11. 身体的特徴

評価結果

モデルは合成データセットのテスト分割で評価されました。閾値 0.5 を使用した全体的な指標は以下の通りです。

マクロ平均:

ラベルごとの結果:

想定される用途

このモデルは、11のカテゴリにわたるテキストのバイアスを検出し分類するように設計されています。以下のようなアプリケーションで使用できます。

• コンテンツモデレーション
• 研究におけるバイアス分析
• 倫理的なAI開発

制限事項とバイアス

• 合成データの性質: データセットは合成テキストで構成されており、現実世界のバイアスを完全に表現しているとは限りません。
• カテゴリの重複: 特定のバイアスが重複することがあり、正確な分類に課題が生じる可能性があります。
• ドメイン固有の汎化性: モデルは合成データセットの範囲外のドメインに対してはうまく汎化しない可能性があります。

環境への影響

• 使用ハードウェア: NVIDIA RTX4090
• トレーニング時間: ~2時間
• 二酸化炭素排出量: ~0.08 kg CO2（ML CO2 Impact Calculator で計算）

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。

🔧 引用

このモデルを使用する場合は、以下のように引用してください。

@inproceedings{JunquedeFortuny2025c,
  title = {Bias Detection with ModernBERT-Large},
  author = {Enric Junqué de Fortuny},
  year = {2025},
  howpublished = {\url{https://huggingface.co/cirimus/modernbert-large-bias-type-classifier}},
}