Goemotions Bert

🚀 GoEmotions BERT分类器

GoEmotions BERT分类器是一个经过微调的模型，基于BERT-base-uncased在go_emotions数据集上进行多标签分类（28种情绪）训练得到。它能够准确地对文本中的情绪进行分类，为情绪分析提供了强大的支持。

🚀 快速开始

若要使用优化阈值进行准确预测，请使用Gradio演示。

✨ 主要特性

• 基于BERT-base-uncased架构，拥有1.1亿个参数，具有强大的特征提取能力。
• 在GoEmotions数据集上进行训练，该数据集包含5.8万条Reddit评论，涵盖28种情绪。
• 使用Focal Loss（gamma=2）作为损失函数，有效处理类别不平衡问题。
• 采用AdamW优化器（lr=2e-5，weight_decay=0.01）进行训练。
• 经过5个训练周期，在Kaggle T4 x2 GPUs硬件上完成训练。

📦 安装指南

文档未提及安装步骤，暂不展示。

💻 使用示例

基础用法

该模型使用存储在thresholds.json中的优化阈值进行预测。以下是Python示例代码：

from transformers import BertForSequenceClassification, BertTokenizer
import torch
import json
import requests

# Load model and tokenizer
repo_id = "logasanjeev/goemotions-bert"
model = BertForSequenceClassification.from_pretrained(repo_id)
tokenizer = BertTokenizer.from_pretrained(repo_id)

# Load thresholds
thresholds_url = f"https://huggingface.co/{repo_id}/raw/main/thresholds.json"
thresholds_data = json.loads(requests.get(thresholds_url).text)
emotion_labels = thresholds_data["emotion_labels"]
thresholds = thresholds_data["thresholds"]

# Predict
text = "I’m just chilling today."
encodings = tokenizer(text, padding='max_length', truncation=True, max_length=128, return_tensors='pt')
with torch.no_grad():
    logits = torch.sigmoid(model(**encodings).logits).numpy()[0]
predictions = [(emotion_labels[i], logit) for i, (logit, thresh) in enumerate(zip(logits, thresholds)) if logit >= thresh]
print(sorted(predictions, key=lambda x: x[1], reverse=True))
# Output: [('neutral', 0.8147)]

📚 详细文档

模型详情

性能指标

• Micro F1：0.6025（优化阈值）
• Macro F1：0.5266
• 精确率：0.5425
• 召回率：0.6775
• 汉明损失：0.0372
• 平均正预测数：1.4564

各类别性能

以下表格展示了在测试集上使用优化阈值（见thresholds.json）的各类别指标：

📄 许可证

本项目采用MIT许可证。