Modernbert Large Bias Type Classifier

🚀 ModernBERT大模型偏见类型分类器

该模型可识别并将文本偏见分为多种类别，包括种族、宗教、性别、年龄等偏见，为自然语言处理任务中的偏见检测和缓解提供了有力支持。

🚀 快速开始

这个模型是基于 ModernBERT-large 在一个合成的有偏见陈述和问题的数据集上微调得到的。该数据集由 Mistal 7B 生成，是 GUS-Net 论文 的一部分。

✨ 主要特性

• 基于强大的 ModernBERT-large 基础模型进行微调。
• 能够对文本中的多种偏见类型进行多标签分类。
• 在合成数据集上取得了较高的评估指标。

📦 安装指南

使用该模型需要安装 transformers 库，可使用以下命令进行安装：

pip install transformers

💻 使用示例

基础用法

以下是使用 Hugging Face Transformers 库调用该模型的示例代码：

from transformers import pipeline

# 加载模型
classifier = pipeline(
    "text-classification",
    model="cirimus/modernbert-large-bias-type-classifier",
    return_all_scores=True
)

text = "Tall people are so clumsy."
predictions = classifier(text)

# 打印预测结果
for pred in sorted(predictions[0], key=lambda x: x['score'], reverse=True)[:5]:
    print(f"{pred['label']}: {pred['score']:.3f}")

# 输出:
# physical: 1.000
# socioeconomic: 0.002
# gender: 0.002
# racial: 0.001
# age: 0.001

📚 详细文档

模型详情

模型创建方式

该模型使用以下超参数进行偏见检测的微调：

• 学习率：3e-5
• 批量大小：16
• 权重衰减：0.01
• 热身步数：500
• 优化器：AdamW
• 评估指标：精确率、召回率、F1 分数（加权）、准确率

数据集

合成数据集包含由 Mistal 7B 生成的有偏见陈述和问题，是 GUS-Net 论文的一部分。它涵盖了 11 种偏见类别：

1. 种族
2. 宗教
3. 性别
4. 年龄
5. 国籍
6. 性取向
7. 社会经济
8. 教育
9. 残疾
10. 政治
11. 身体特征

评估结果

该模型在合成数据集的测试分割上进行了评估。使用阈值 0.5 的整体指标如下：

宏平均指标：

每个标签的结果：

预期用途

该模型旨在检测和分类文本中的 11 种偏见类别。可用于以下应用：

• 内容审核
• 研究中的偏见分析
• 道德人工智能开发

局限性和偏见

• 合成性质：数据集由合成文本组成，可能无法完全代表现实世界的偏见。
• 类别重叠：某些偏见可能存在重叠，导致精确分类存在挑战。
• 特定领域泛化：该模型可能无法很好地泛化到合成数据集范围之外的领域。

环境影响

• 使用硬件：NVIDIA RTX4090
• 训练时间：约 2 小时
• 碳排放：约 0.08 千克二氧化碳（通过 ML CO2 影响计算器 计算）

引用

如果使用该模型，请按以下方式引用：

@inproceedings{JunquedeFortuny2025c,
  title = {Bias Detection with ModernBERT-Large},
  author = {Enric Junqué de Fortuny},
  year = {2025},
  howpublished = {\url{https://huggingface.co/cirimus/modernbert-large-bias-type-classifier}},
}

📄 许可证

本项目采用 MIT 许可证。