Modernbert Base Go Emotions

🚀 现代BERT情感分类模型

本模型基于ModernBERT，在GoEmotions数据集上微调，用于英文文本的多标签情感分类任务。它能精准识别文本中的情感状态，涵盖28种不同的情感标签，可广泛应用于社交媒体情感分析、客户反馈评估等领域。

🚀 快速开始

本模型是基于ModernBERT-base在GoEmotions数据集上进行微调的多标签分类模型，可预测文本中的情感状态，共有28种可能的标签。每个输入文本可以有一个或多个相关标签，体现了该任务的多标签性质。

你可以点击此处进行试用。

✨ 主要特性

• 精准分类：能够对英文文本进行多标签情感分类，涵盖28种情感标签。
• 易于使用：借助Hugging Face Transformers框架，可轻松加载和使用模型。
• 应用广泛：适用于社交媒体情感分析、客户反馈评估、行为或心理研究等领域。

📦 模型详情

💻 使用示例

基础用法

以下是使用Hugging Face Transformers调用该模型的示例代码：

from transformers import pipeline
import torch

# 加载模型
classifier = pipeline(
    "text-classification", 
    model="cirimus/modernbert-base-go-emotions",
    return_all_scores=True
)

text = "I am so happy and excited about this opportunity!"
predictions = classifier(text)

# 打印前5个检测到的情绪
sorted_preds = sorted(predictions[0], key=lambda x: x['score'], reverse=True)
top_5 = sorted_preds[:5]

print("\nTop 5 emotions detected:")
for pred in top_5:
    print(f"\t{pred['label']:10s} : {pred['score']:.3f}")

## 示例输出:
# Top 5 emotions detected:
#        excitement : 0.937
#        joy        : 0.915
#        desire     : 0.022
#        love       : 0.020
#        admiration : 0.017

🔧 技术细节

模型创建过程

模型使用以下超参数进行了3个epoch的微调：

• 学习率：2e-5
• 批量大小：16
• 权重衰减：0.01
• 预热步数：500
• 优化器：AdamW
• 评估指标：精确率、召回率、F1分数（加权）、准确率

数据集

GoEmotions数据集是一个基于Reddit评论的多标签情感分类数据集，包含58,000个示例和28种情感标签（如钦佩、娱乐、愤怒等），并针对多标签分类进行了标注。

评估结果

模型在GoEmotions数据集的测试集上进行了评估，使用0.5的阈值对预测结果进行二值化处理。以下是评估结果：

标准结果： 使用默认阈值0.5。

最优结果： 根据训练集为每个标签使用最佳阈值（基于F1分数进行调整）。

📚 预期用途

该模型旨在对英文文本进行情感分类，尤其适用于以下领域：

• 社交媒体情感分析
• 客户反馈评估
• 行为或心理研究

📄 许可证

本模型采用MIT许可证。

🚫 局限性和偏差

⚠️ 重要提示

• 数据偏差：数据集基于Reddit评论，可能无法很好地推广到其他领域或文化背景中。
• 类别代表性不足：某些标签（如“悲痛”和“宽慰”）的示例非常少，导致这些类别的性能较低。
• 标注歧义：部分训练数据存在标注不一致或歧义的情况，可能会影响预测结果。

🌱 环境影响

• 使用的硬件：NVIDIA RTX4090
• 训练时间：<1小时
• 碳排放：约0.04千克二氧化碳（通过ML CO2 Impact Calculator计算）

📖 引用

如果您使用此模型，请按以下方式引用：

@inproceedings{JdFE2025b,
  title = {Emotion Classification with ModernBERT},
  author = {Enric Junqu\'e de Fortuny},
  year = {2025},
  howpublished = {\url{https://huggingface.co/cirimus/modernbert-base-go-emotions}},
}