Roberta Base Go Emotions

🚀 RoBERTa-base情感多标签分类模型

本项目基于roberta-base模型，在go_emotions数据集上进行训练，实现多标签文本分类，可对文本中的多种情感进行识别和分类。

✨ 主要特性

• 多标签分类：能够对输入文本同时预测多个情感标签。
• ONNX版本支持：提供ONNX格式的模型，包括INT8量化版本，推理速度更快，依赖更小，跨平台性更好。
• 多方式推理：支持在Huggingface Transformers中通过多种方式使用，如使用pipeline进行推理。

📚 详细文档

模型概述

该模型基于roberta-base，在go_emotions数据集上进行多标签分类训练。

ONNX版本

该模型的ONNX格式版本（包括INT8量化的ONNX版本）可在https://huggingface.co/SamLowe/roberta-base-go_emotions-onnx获取。这些版本在推理时更快，尤其是对于小批量数据，能大幅减少推理所需依赖的大小，使模型推理更具跨平台性。对于量化版本，如果仅需要推理，在保留几乎所有准确性的同时，可将模型文件/下载大小减少75%。

模型使用的数据集

go_emotions基于Reddit数据，有28个标签。这是一个多标签数据集，对于任何给定的输入文本，可能适用一个或多个标签。因此，该模型是一个多标签分类模型，对于任何给定的输入文本，会输出28个“概率”浮点数。通常，会对每个标签的概率应用0.5的阈值进行预测。

模型创建方式

模型使用AutoModelForSequenceClassification.from_pretrained，设置problem_type="multi_label_classification"进行训练，训练3个epoch，学习率为2e - 5，权重衰减为0.01。

推理

在Huggingface Transformers中有多种使用该模型的方法，最简单的可能是使用pipeline：

from transformers import pipeline

classifier = pipeline(task="text-classification", model="SamLowe/roberta-base-go_emotions", top_k=None)

sentences = ["I am not having a great day"]

model_outputs = classifier(sentences)
print(model_outputs[0])
# 为每个标签生成一个字典列表

评估 / 指标

模型的评估信息可在以下链接获取：

• https://github.com/samlowe/go_emotions-dataset/blob/main/eval-roberta-base-go_emotions.ipynb

总结

如上述笔记本中所示，使用数据集的测试集对多标签输出（通过0.5的阈值将每个输出二值化）进行评估，结果如下：

• 准确率：0.474
• 精确率：0.575
• 召回率：0.396
• F1值：0.450

但考虑到多标签的性质（每个标签实际上是一个独立的二分类）以及数据集中标签的表示差异很大，按每个标签进行指标测量更有意义。

对模型输出应用0.5的阈值进行二值化后，按每个标签的指标如下：

为每个标签优化阈值以获得最佳F1指标，会得到稍好的指标 - 牺牲一些精确率以获得更高的召回率，从而有利于F1值（上述笔记本中展示了具体做法）：

这会提高整体指标：

• 精确率：0.542
• 召回率：0.577
• F1值：0.541

或者如果按每个标签的样本数相对大小进行加权计算：

• 精确率：0.572
• 召回率：0.677
• F1值：0.611

数据集评论

一些标签（如感激）在单独考虑时表现非常好，F1值超过0.9，而其他标签（如解脱）表现非常差。

这是一个具有挑战性的数据集。像解脱这样的标签在训练数据中的示例要少得多（在40k +的数据中少于100个，在测试集中只有11个）。

但在go_emotions的训练数据中也可以看到一些模糊性和/或标注错误，这可能会限制模型的性能。对数据集进行数据清理，减少标注中的一些错误、模糊性、冲突和重复，将产生性能更高的模型。

📄 许可证

本项目采用MIT许可证。