Roberta Base Go Emotions

🚀 RoBERTa-base情感多標籤分類模型

本項目基於roberta-base模型，在go_emotions數據集上進行訓練，實現多標籤文本分類，可對文本中的多種情感進行識別和分類。

✨ 主要特性

• 多標籤分類：能夠對輸入文本同時預測多個情感標籤。
• ONNX版本支持：提供ONNX格式的模型，包括INT8量化版本，推理速度更快，依賴更小，跨平臺性更好。
• 多方式推理：支持在Huggingface Transformers中通過多種方式使用，如使用pipeline進行推理。

📚 詳細文檔

模型概述

該模型基於roberta-base，在go_emotions數據集上進行多標籤分類訓練。

ONNX版本

該模型的ONNX格式版本（包括INT8量化的ONNX版本）可在https://huggingface.co/SamLowe/roberta-base-go_emotions-onnx獲取。這些版本在推理時更快，尤其是對於小批量數據，能大幅減少推理所需依賴的大小，使模型推理更具跨平臺性。對於量化版本，如果僅需要推理，在保留幾乎所有準確性的同時，可將模型文件/下載大小減少75%。

模型使用的數據集

go_emotions基於Reddit數據，有28個標籤。這是一個多標籤數據集，對於任何給定的輸入文本，可能適用一個或多個標籤。因此，該模型是一個多標籤分類模型，對於任何給定的輸入文本，會輸出28個“概率”浮點數。通常，會對每個標籤的概率應用0.5的閾值進行預測。

模型創建方式

模型使用AutoModelForSequenceClassification.from_pretrained，設置problem_type="multi_label_classification"進行訓練，訓練3個epoch，學習率為2e - 5，權重衰減為0.01。

推理

在Huggingface Transformers中有多種使用該模型的方法，最簡單的可能是使用pipeline：

from transformers import pipeline

classifier = pipeline(task="text-classification", model="SamLowe/roberta-base-go_emotions", top_k=None)

sentences = ["I am not having a great day"]

model_outputs = classifier(sentences)
print(model_outputs[0])
# 為每個標籤生成一個字典列表

評估 / 指標

模型的評估信息可在以下鏈接獲取：

• https://github.com/samlowe/go_emotions-dataset/blob/main/eval-roberta-base-go_emotions.ipynb

總結

如上述筆記本中所示，使用數據集的測試集對多標籤輸出（通過0.5的閾值將每個輸出二值化）進行評估，結果如下：

• 準確率：0.474
• 精確率：0.575
• 召回率：0.396
• F1值：0.450

但考慮到多標籤的性質（每個標籤實際上是一個獨立的二分類）以及數據集中標籤的表示差異很大，按每個標籤進行指標測量更有意義。

對模型輸出應用0.5的閾值進行二值化後，按每個標籤的指標如下：

為每個標籤優化閾值以獲得最佳F1指標，會得到稍好的指標 - 犧牲一些精確率以獲得更高的召回率，從而有利於F1值（上述筆記本中展示了具體做法）：

這會提高整體指標：

• 精確率：0.542
• 召回率：0.577
• F1值：0.541

或者如果按每個標籤的樣本數相對大小進行加權計算：

• 精確率：0.572
• 召回率：0.677
• F1值：0.611

數據集評論

一些標籤（如感激）在單獨考慮時表現非常好，F1值超過0.9，而其他標籤（如解脫）表現非常差。

這是一個具有挑戰性的數據集。像解脫這樣的標籤在訓練數據中的示例要少得多（在40k +的數據中少於100個，在測試集中只有11個）。

但在go_emotions的訓練數據中也可以看到一些模糊性和/或標註錯誤，這可能會限制模型的性能。對數據集進行數據清理，減少標註中的一些錯誤、模糊性、衝突和重複，將產生性能更高的模型。

📄 許可證

本項目採用MIT許可證。