Social Bias Ner

🚀 社会偏见命名实体识别（Social Bias NER）

本命名实体识别（NER）模型基于BERT进行微调，用于对以下内容进行多标签标记分类：

• （GEN）泛化表述
• （UNFAIR）不公平表述
• （STEREO）刻板印象表述

你可以在Hugging Face空间中试用该模型 😊。

🚀 快速开始

Transformers库的pipeline没有专门用于多标签标记分类的类，但你可以使用以下代码加载模型、运行模型并格式化输出：

import json
import torch
from transformers import BertTokenizerFast, BertForTokenClassification
import gradio as gr

# 初始化重要组件
tokenizer = BertTokenizerFast.from_pretrained('bert-base-uncased')
model = BertForTokenClassification.from_pretrained('ethical-spectacle/social-bias-ner')
model.eval()
model.to('cuda' if torch.cuda.is_available() else 'cpu')

# 用于显示的ID到标签映射
id2label = {
    0: 'O',
    1: 'B-STEREO',
    2: 'I-STEREO',
    3: 'B-GEN',
    4: 'I-GEN',
    5: 'B-UNFAIR',
    6: 'I-UNFAIR'
}

# 如果你在自己的代码中使用，可调用此预测函数
def predict_ner_tags(sentence):
    inputs = tokenizer(sentence, return_tensors="pt", padding=True, truncation=True, max_length=128)
    input_ids = inputs['input_ids'].to(model.device)
    attention_mask = inputs['attention_mask'].to(model.device)

    with torch.no_grad():
        outputs = model(input_ids=input_ids, attention_mask=attention_mask)
        logits = outputs.logits
        probabilities = torch.sigmoid(logits)
        predicted_labels = (probabilities > 0.5).int() # 记得尝试你自己的阈值

    result = []
    tokens = tokenizer.convert_ids_to_tokens(input_ids[0])
    for i, token in enumerate(tokens):
        if token not in tokenizer.all_special_tokens:
            label_indices = (predicted_labels[0][i] == 1).nonzero(as_tuple=False).squeeze(-1)
            labels = [id2label[idx.item()] for idx in label_indices] if label_indices.numel() > 0 else ['O']
            result.append({"token": token, "labels": labels})

    return json.dumps(result, indent=4)

📚 详细文档

GUS - Net项目详情

资源

• 请访问此集合获取GUS - Net论文中展示的数据集和模型。
• GUS - Net是The Fair - ly项目的一部分，已集成到Chrome扩展程序和PyPI包中。

引用信息

请使用以下BibTeX格式引用本项目：

@article{powers2024gusnet,
  title={{GUS-Net: Social Bias Classification in Text with Generalizations, Unfairness, and Stereotypes}},
  author={Maximus Powers and Umang Mavani and Harshitha Reddy Jonala and Ansh Tiwari and Hua Wei},
  journal={arXiv preprint arXiv:2410.08388},
  year={2024},
  url={https://arxiv.org/abs/2410.08388}
}

欢迎关注我们的研究团队Ethical Spectacle 😊。

📄 许可证

本项目采用MIT许可证。

📦 模型信息