Goemotions Bert

🚀 GoEmotions BERT分類器

GoEmotions BERT分類器是一個經過微調的模型，基於BERT-base-uncased在go_emotions數據集上進行多標籤分類（28種情緒）訓練得到。它能夠準確地對文本中的情緒進行分類，為情緒分析提供了強大的支持。

🚀 快速開始

若要使用優化閾值進行準確預測，請使用Gradio演示。

✨ 主要特性

• 基於BERT-base-uncased架構，擁有1.1億個參數，具有強大的特徵提取能力。
• 在GoEmotions數據集上進行訓練，該數據集包含5.8萬條Reddit評論，涵蓋28種情緒。
• 使用Focal Loss（gamma=2）作為損失函數，有效處理類別不平衡問題。
• 採用AdamW優化器（lr=2e-5，weight_decay=0.01）進行訓練。
• 經過5個訓練週期，在Kaggle T4 x2 GPUs硬件上完成訓練。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

該模型使用存儲在thresholds.json中的優化閾值進行預測。以下是Python示例代碼：

from transformers import BertForSequenceClassification, BertTokenizer
import torch
import json
import requests

# Load model and tokenizer
repo_id = "logasanjeev/goemotions-bert"
model = BertForSequenceClassification.from_pretrained(repo_id)
tokenizer = BertTokenizer.from_pretrained(repo_id)

# Load thresholds
thresholds_url = f"https://huggingface.co/{repo_id}/raw/main/thresholds.json"
thresholds_data = json.loads(requests.get(thresholds_url).text)
emotion_labels = thresholds_data["emotion_labels"]
thresholds = thresholds_data["thresholds"]

# Predict
text = "I’m just chilling today."
encodings = tokenizer(text, padding='max_length', truncation=True, max_length=128, return_tensors='pt')
with torch.no_grad():
    logits = torch.sigmoid(model(**encodings).logits).numpy()[0]
predictions = [(emotion_labels[i], logit) for i, (logit, thresh) in enumerate(zip(logits, thresholds)) if logit >= thresh]
print(sorted(predictions, key=lambda x: x[1], reverse=True))
# Output: [('neutral', 0.8147)]

📚 詳細文檔

模型詳情

性能指標

• Micro F1：0.6025（優化閾值）
• Macro F1：0.5266
• 精確率：0.5425
• 召回率：0.6775
• 漢明損失：0.0372
• 平均正預測數：1.4564

各類別性能

以下表格展示了在測試集上使用優化閾值（見thresholds.json）的各類別指標：

📄 許可證

本項目採用MIT許可證。