Modernbert Large Bias Type Classifier

🚀 ModernBERT大模型偏見類型分類器

該模型可識別並將文本偏見分為多種類別，包括種族、宗教、性別、年齡等偏見，為自然語言處理任務中的偏見檢測和緩解提供了有力支持。

🚀 快速開始

這個模型是基於 ModernBERT-large 在一個合成的有偏見陳述和問題的數據集上微調得到的。該數據集由 Mistal 7B 生成，是 GUS-Net 論文 的一部分。

✨ 主要特性

• 基於強大的 ModernBERT-large 基礎模型進行微調。
• 能夠對文本中的多種偏見類型進行多標籤分類。
• 在合成數據集上取得了較高的評估指標。

📦 安裝指南

使用該模型需要安裝 transformers 庫，可使用以下命令進行安裝：

pip install transformers

💻 使用示例

基礎用法

以下是使用 Hugging Face Transformers 庫調用該模型的示例代碼：

from transformers import pipeline

# 加載模型
classifier = pipeline(
    "text-classification",
    model="cirimus/modernbert-large-bias-type-classifier",
    return_all_scores=True
)

text = "Tall people are so clumsy."
predictions = classifier(text)

# 打印預測結果
for pred in sorted(predictions[0], key=lambda x: x['score'], reverse=True)[:5]:
    print(f"{pred['label']}: {pred['score']:.3f}")

# 輸出:
# physical: 1.000
# socioeconomic: 0.002
# gender: 0.002
# racial: 0.001
# age: 0.001

📚 詳細文檔

模型詳情

模型創建方式

該模型使用以下超參數進行偏見檢測的微調：

• 學習率：3e-5
• 批量大小：16
• 權重衰減：0.01
• 熱身步數：500
• 優化器：AdamW
• 評估指標：精確率、召回率、F1 分數（加權）、準確率

數據集

合成數據集包含由 Mistal 7B 生成的有偏見陳述和問題，是 GUS-Net 論文的一部分。它涵蓋了 11 種偏見類別：

1. 種族
2. 宗教
3. 性別
4. 年齡
5. 國籍
6. 性取向
7. 社會經濟
8. 教育
9. 殘疾
10. 政治
11. 身體特徵

評估結果

該模型在合成數據集的測試分割上進行了評估。使用閾值 0.5 的整體指標如下：

宏平均指標：

每個標籤的結果：

預期用途

該模型旨在檢測和分類文本中的 11 種偏見類別。可用於以下應用：

• 內容審核
• 研究中的偏見分析
• 道德人工智能開發

侷限性和偏見

• 合成性質：數據集由合成文本組成，可能無法完全代表現實世界的偏見。
• 類別重疊：某些偏見可能存在重疊，導致精確分類存在挑戰。
• 特定領域泛化：該模型可能無法很好地泛化到合成數據集範圍之外的領域。

環境影響

• 使用硬件：NVIDIA RTX4090
• 訓練時間：約 2 小時
• 碳排放：約 0.08 千克二氧化碳（通過 ML CO2 影響計算器 計算）

引用

如果使用該模型，請按以下方式引用：

@inproceedings{JunquedeFortuny2025c,
  title = {Bias Detection with ModernBERT-Large},
  author = {Enric Junqué de Fortuny},
  year = {2025},
  howpublished = {\url{https://huggingface.co/cirimus/modernbert-large-bias-type-classifier}},
}

📄 許可證

本項目採用 MIT 許可證。