Modernbert Base Go Emotions
基於ModernBERT-base微調的多標籤情感分類模型,可識別28種情感標籤
下載量 3,056
發布時間 : 1/14/2025
模型概述
該模型專為英文文本情感分析設計,支持同時預測多種情感標籤,適用於社交媒體情緒監測和用戶反饋分析等場景
模型特點
多標籤預測
支持單文本同時預測多個情感標籤,符合真實場景中複雜情感的表達
細粒度分類
可識別28種不同情感,包括讚賞、興奮、失望等細微情感差異
動態閾值優化
針對不同情感標籤採用個性化預測閾值,提升小樣本標籤的識別效果
模型能力
情感標籤預測
文本情緒分析
多標籤分類
使用案例
社交媒體分析
用戶評論情緒監測
分析Reddit等平臺用戶評論的情感傾向
可識別興奮、憤怒等多維度情緒狀態
客戶服務
反饋情感分析
自動分類客戶反饋中的情緒標籤
幫助優先處理負面情緒反饋
🚀 現代BERT情感分類模型
本模型基於ModernBERT,在GoEmotions數據集上微調,用於英文文本的多標籤情感分類任務。它能精準識別文本中的情感狀態,涵蓋28種不同的情感標籤,可廣泛應用於社交媒體情感分析、客戶反饋評估等領域。
🚀 快速開始
本模型是基於ModernBERT-base在GoEmotions數據集上進行微調的多標籤分類模型,可預測文本中的情感狀態,共有28種可能的標籤。每個輸入文本可以有一個或多個相關標籤,體現了該任務的多標籤性質。
你可以點擊此處進行試用。
✨ 主要特性
- 精準分類:能夠對英文文本進行多標籤情感分類,涵蓋28種情感標籤。
- 易於使用:藉助Hugging Face Transformers框架,可輕鬆加載和使用模型。
- 應用廣泛:適用於社交媒體情感分析、客戶反饋評估、行為或心理研究等領域。
📦 模型詳情
屬性 | 詳情 |
---|---|
基礎模型 | ModernBERT-base |
微調數據集 | GoEmotions |
標籤數量 | 28 |
問題類型 | 多標籤分類 |
語言 | 英文 |
許可證 | MIT |
微調框架 | Hugging Face Transformers |
💻 使用示例
基礎用法
以下是使用Hugging Face Transformers調用該模型的示例代碼:
from transformers import pipeline
import torch
# 加載模型
classifier = pipeline(
"text-classification",
model="cirimus/modernbert-base-go-emotions",
return_all_scores=True
)
text = "I am so happy and excited about this opportunity!"
predictions = classifier(text)
# 打印前5個檢測到的情緒
sorted_preds = sorted(predictions[0], key=lambda x: x['score'], reverse=True)
top_5 = sorted_preds[:5]
print("\nTop 5 emotions detected:")
for pred in top_5:
print(f"\t{pred['label']:10s} : {pred['score']:.3f}")
## 示例輸出:
# Top 5 emotions detected:
# excitement : 0.937
# joy : 0.915
# desire : 0.022
# love : 0.020
# admiration : 0.017
🔧 技術細節
模型創建過程
模型使用以下超參數進行了3個epoch的微調:
- 學習率:
2e-5
- 批量大小:16
- 權重衰減:
0.01
- 預熱步數:500
- 優化器:AdamW
- 評估指標:精確率、召回率、F1分數(加權)、準確率
數據集
GoEmotions數據集是一個基於Reddit評論的多標籤情感分類數據集,包含58,000個示例和28種情感標籤(如欽佩、娛樂、憤怒等),並針對多標籤分類進行了標註。
評估結果
模型在GoEmotions數據集的測試集上進行了評估,使用0.5
的閾值對預測結果進行二值化處理。以下是評估結果:
標準結果: 使用默認閾值0.5。
標籤 | 準確率 | 精確率 | 召回率 | F1分數 | 馬修斯相關係數 | 樣本數量 | 閾值 |
---|---|---|---|---|---|---|---|
宏平均 | 0.970 | 0.665 | 0.389 | 0.465 | 0.477 | 5427 | 0.5 |
欽佩 | 0.945 | 0.737 | 0.627 | 0.677 | 0.650 | 504 | 0.5 |
娛樂 | 0.980 | 0.794 | 0.803 | 0.798 | 0.788 | 264 | 0.5 |
憤怒 | 0.968 | 0.680 | 0.258 | 0.374 | 0.406 | 198 | 0.5 |
煩惱 | 0.940 | 0.468 | 0.159 | 0.238 | 0.249 | 320 | 0.5 |
認可 | 0.942 | 0.614 | 0.276 | 0.381 | 0.387 | 351 | 0.5 |
關心 | 0.976 | 0.524 | 0.244 | 0.333 | 0.347 | 135 | 0.5 |
困惑 | 0.975 | 0.625 | 0.294 | 0.400 | 0.418 | 153 | 0.5 |
好奇 | 0.951 | 0.538 | 0.423 | 0.473 | 0.452 | 284 | 0.5 |
渴望 | 0.987 | 0.604 | 0.349 | 0.443 | 0.453 | 83 | 0.5 |
失望 | 0.974 | 0.656 | 0.139 | 0.230 | 0.294 | 151 | 0.5 |
不認可 | 0.950 | 0.494 | 0.292 | 0.367 | 0.356 | 267 | 0.5 |
厭惡 | 0.980 | 0.674 | 0.252 | 0.367 | 0.405 | 123 | 0.5 |
尷尬 | 0.995 | 0.857 | 0.324 | 0.471 | 0.526 | 37 | 0.5 |
興奮 | 0.984 | 0.692 | 0.262 | 0.380 | 0.420 | 103 | 0.5 |
恐懼 | 0.992 | 0.796 | 0.551 | 0.652 | 0.659 | 78 | 0.5 |
感激 | 0.990 | 0.957 | 0.892 | 0.924 | 0.919 | 352 | 0.5 |
悲痛 | 0.999 | 0.000 | 0.000 | 0.000 | 0.000 | 6 | 0.5 |
喜悅 | 0.978 | 0.652 | 0.571 | 0.609 | 0.600 | 161 | 0.5 |
愛 | 0.982 | 0.792 | 0.798 | 0.795 | 0.786 | 238 | 0.5 |
緊張 | 0.996 | 0.636 | 0.304 | 0.412 | 0.439 | 23 | 0.5 |
樂觀 | 0.975 | 0.743 | 0.403 | 0.523 | 0.536 | 186 | 0.5 |
自豪 | 0.998 | 0.857 | 0.375 | 0.522 | 0.566 | 16 | 0.5 |
領悟 | 0.973 | 0.514 | 0.124 | 0.200 | 0.244 | 145 | 0.5 |
寬慰 | 0.998 | 1.000 | 0.091 | 0.167 | 0.301 | 11 | 0.5 |
懊悔 | 0.992 | 0.594 | 0.732 | 0.656 | 0.656 | 56 | 0.5 |
悲傷 | 0.979 | 0.759 | 0.385 | 0.511 | 0.532 | 156 | 0.5 |
驚訝 | 0.978 | 0.649 | 0.340 | 0.447 | 0.460 | 141 | 0.5 |
中立 | 0.794 | 0.715 | 0.623 | 0.666 | 0.520 | 1787 | 0.5 |
最優結果: 根據訓練集為每個標籤使用最佳閾值(基於F1分數進行調整)。
標籤 | 準確率 | 精確率 | 召回率 | F1分數 | 馬修斯相關係數 | 樣本數量 | 閾值 |
---|---|---|---|---|---|---|---|
宏平均 | 0.967 | 0.568 | 0.531 | 0.541 | 0.526 | 5427 | 不同 |
欽佩 | 0.946 | 0.700 | 0.726 | 0.713 | 0.683 | 504 | 0.30 |
娛樂 | 0.981 | 0.782 | 0.856 | 0.817 | 0.808 | 264 | 0.40 |
憤怒 | 0.963 | 0.490 | 0.510 | 0.500 | 0.481 | 198 | 0.20 |
煩惱 | 0.917 | 0.337 | 0.425 | 0.376 | 0.334 | 320 | 0.25 |
認可 | 0.922 | 0.411 | 0.473 | 0.440 | 0.399 | 351 | 0.25 |
關心 | 0.971 | 0.424 | 0.415 | 0.419 | 0.405 | 135 | 0.25 |
困惑 | 0.970 | 0.468 | 0.484 | 0.476 | 0.460 | 153 | 0.30 |
好奇 | 0.947 | 0.493 | 0.630 | 0.553 | 0.530 | 284 | 0.35 |
渴望 | 0.988 | 0.708 | 0.410 | 0.519 | 0.533 | 83 | 0.45 |
失望 | 0.963 | 0.321 | 0.291 | 0.306 | 0.287 | 151 | 0.25 |
不認可 | 0.943 | 0.429 | 0.464 | 0.446 | 0.417 | 267 | 0.30 |
厭惡 | 0.981 | 0.604 | 0.496 | 0.545 | 0.538 | 123 | 0.20 |
尷尬 | 0.995 | 0.789 | 0.405 | 0.536 | 0.564 | 37 | 0.30 |
興奮 | 0.979 | 0.444 | 0.388 | 0.415 | 0.405 | 103 | 0.25 |
恐懼 | 0.991 | 0.693 | 0.667 | 0.680 | 0.675 | 78 | 0.30 |
感激 | 0.990 | 0.951 | 0.886 | 0.918 | 0.913 | 352 | 0.50 |
悲痛 | 0.999 | 0.500 | 0.500 | 0.500 | 0.499 | 6 | 0.20 |
喜悅 | 0.978 | 0.628 | 0.609 | 0.618 | 0.607 | 161 | 0.40 |
愛 | 0.982 | 0.789 | 0.819 | 0.804 | 0.795 | 238 | 0.45 |
緊張 | 0.995 | 0.375 | 0.391 | 0.383 | 0.380 | 23 | 0.25 |
樂觀 | 0.970 | 0.558 | 0.597 | 0.577 | 0.561 | 186 | 0.15 |
自豪 | 0.998 | 0.750 | 0.375 | 0.500 | 0.529 | 16 | 0.15 |
領悟 | 0.968 | 0.326 | 0.200 | 0.248 | 0.240 | 145 | 0.25 |
寬慰 | 0.998 | 0.429 | 0.273 | 0.333 | 0.341 | 11 | 0.25 |
懊悔 | 0.993 | 0.611 | 0.786 | 0.688 | 0.689 | 56 | 0.55 |
悲傷 | 0.979 | 0.667 | 0.538 | 0.596 | 0.589 | 156 | 0.20 |
驚訝 | 0.978 | 0.585 | 0.511 | 0.545 | 0.535 | 141 | 0.30 |
中立 | 0.782 | 0.649 | 0.737 | 0.690 | 0.526 | 1787 | 0.40 |
📚 預期用途
該模型旨在對英文文本進行情感分類,尤其適用於以下領域:
- 社交媒體情感分析
- 客戶反饋評估
- 行為或心理研究
📄 許可證
本模型採用MIT許可證。
🚫 侷限性和偏差
⚠️ 重要提示
- 數據偏差:數據集基於Reddit評論,可能無法很好地推廣到其他領域或文化背景中。
- 類別代表性不足:某些標籤(如“悲痛”和“寬慰”)的示例非常少,導致這些類別的性能較低。
- 標註歧義:部分訓練數據存在標註不一致或歧義的情況,可能會影響預測結果。
🌱 環境影響
- 使用的硬件:NVIDIA RTX4090
- 訓練時間:<1小時
- 碳排放:約0.04千克二氧化碳(通過ML CO2 Impact Calculator計算)
📖 引用
如果您使用此模型,請按以下方式引用:
@inproceedings{JdFE2025b,
title = {Emotion Classification with ModernBERT},
author = {Enric Junqu\'e de Fortuny},
year = {2025},
howpublished = {\url{https://huggingface.co/cirimus/modernbert-base-go-emotions}},
}
Distilbert Base Uncased Finetuned Sst 2 English
Apache-2.0
基於DistilBERT-base-uncased在SST-2情感分析數據集上微調的文本分類模型,準確率91.3%
文本分類 英語
D
distilbert
5.2M
746
Xlm Roberta Base Language Detection
MIT
基於XLM-RoBERTa的多語言檢測模型,支持20種語言的文本分類
文本分類
Transformers 支持多種語言

X
papluca
2.7M
333
Roberta Hate Speech Dynabench R4 Target
該模型通過動態生成數據集來改進在線仇恨檢測,專注於從最差案例中學習以提高檢測效果。
文本分類
Transformers 英語

R
facebook
2.0M
80
Bert Base Multilingual Uncased Sentiment
MIT
基於bert-base-multilingual-uncased微調的多語言情感分析模型,支持6種語言的商品評論情感分析
文本分類 支持多種語言
B
nlptown
1.8M
371
Emotion English Distilroberta Base
基於DistilRoBERTa-base微調的英文文本情感分類模型,可預測埃克曼六種基本情緒及中性類別。
文本分類
Transformers 英語

E
j-hartmann
1.1M
402
Robertuito Sentiment Analysis
基於RoBERTuito的西班牙語推文情感分析模型,支持POS(積極)/NEG(消極)/NEU(中性)三類情感分類
文本分類 西班牙語
R
pysentimiento
1.0M
88
Finbert Tone
FinBERT是一款基於金融通訊文本預訓練的BERT模型,專注於金融自然語言處理領域。finbert-tone是其微調版本,用於金融情感分析任務。
文本分類
Transformers 英語

F
yiyanghkust
998.46k
178
Roberta Base Go Emotions
MIT
基於RoBERTa-base的多標籤情感分類模型,在go_emotions數據集上訓練,支持28種情感標籤識別。
文本分類
Transformers 英語

R
SamLowe
848.12k
565
Xlm Emo T
XLM-EMO是一個基於XLM-T模型微調的多語言情感分析模型,支持19種語言,專門針對社交媒體文本的情感預測。
文本分類
Transformers 其他

X
MilaNLProc
692.30k
7
Deberta V3 Base Mnli Fever Anli
MIT
基於MultiNLI、Fever-NLI和ANLI數據集訓練的DeBERTa-v3模型,擅長零樣本分類和自然語言推理任務
文本分類
Transformers 英語

D
MoritzLaurer
613.93k
204
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98