Modernbert Base Go Emotions

🚀 現代BERT情感分類模型

本模型基於ModernBERT，在GoEmotions數據集上微調，用於英文文本的多標籤情感分類任務。它能精準識別文本中的情感狀態，涵蓋28種不同的情感標籤，可廣泛應用於社交媒體情感分析、客戶反饋評估等領域。

🚀 快速開始

本模型是基於ModernBERT-base在GoEmotions數據集上進行微調的多標籤分類模型，可預測文本中的情感狀態，共有28種可能的標籤。每個輸入文本可以有一個或多個相關標籤，體現了該任務的多標籤性質。

你可以點擊此處進行試用。

✨ 主要特性

• 精準分類：能夠對英文文本進行多標籤情感分類，涵蓋28種情感標籤。
• 易於使用：藉助Hugging Face Transformers框架，可輕鬆加載和使用模型。
• 應用廣泛：適用於社交媒體情感分析、客戶反饋評估、行為或心理研究等領域。

📦 模型詳情

💻 使用示例

基礎用法

以下是使用Hugging Face Transformers調用該模型的示例代碼：

from transformers import pipeline
import torch

# 加載模型
classifier = pipeline(
    "text-classification", 
    model="cirimus/modernbert-base-go-emotions",
    return_all_scores=True
)

text = "I am so happy and excited about this opportunity!"
predictions = classifier(text)

# 打印前5個檢測到的情緒
sorted_preds = sorted(predictions[0], key=lambda x: x['score'], reverse=True)
top_5 = sorted_preds[:5]

print("\nTop 5 emotions detected:")
for pred in top_5:
    print(f"\t{pred['label']:10s} : {pred['score']:.3f}")

## 示例輸出:
# Top 5 emotions detected:
#        excitement : 0.937
#        joy        : 0.915
#        desire     : 0.022
#        love       : 0.020
#        admiration : 0.017

🔧 技術細節

模型創建過程

模型使用以下超參數進行了3個epoch的微調：

• 學習率：2e-5
• 批量大小：16
• 權重衰減：0.01
• 預熱步數：500
• 優化器：AdamW
• 評估指標：精確率、召回率、F1分數（加權）、準確率

數據集

GoEmotions數據集是一個基於Reddit評論的多標籤情感分類數據集，包含58,000個示例和28種情感標籤（如欽佩、娛樂、憤怒等），並針對多標籤分類進行了標註。

評估結果

模型在GoEmotions數據集的測試集上進行了評估，使用0.5的閾值對預測結果進行二值化處理。以下是評估結果：

標準結果： 使用默認閾值0.5。

最優結果： 根據訓練集為每個標籤使用最佳閾值（基於F1分數進行調整）。

📚 預期用途

該模型旨在對英文文本進行情感分類，尤其適用於以下領域：

• 社交媒體情感分析
• 客戶反饋評估
• 行為或心理研究

📄 許可證

本模型採用MIT許可證。

🚫 侷限性和偏差

⚠️ 重要提示

• 數據偏差：數據集基於Reddit評論，可能無法很好地推廣到其他領域或文化背景中。
• 類別代表性不足：某些標籤（如“悲痛”和“寬慰”）的示例非常少，導致這些類別的性能較低。
• 標註歧義：部分訓練數據存在標註不一致或歧義的情況，可能會影響預測結果。

🌱 環境影響

• 使用的硬件：NVIDIA RTX4090
• 訓練時間：<1小時
• 碳排放：約0.04千克二氧化碳（通過ML CO2 Impact Calculator計算）

📖 引用

如果您使用此模型，請按以下方式引用：

@inproceedings{JdFE2025b,
  title = {Emotion Classification with ModernBERT},
  author = {Enric Junqu\'e de Fortuny},
  year = {2025},
  howpublished = {\url{https://huggingface.co/cirimus/modernbert-base-go-emotions}},
}