Distilbert Base Uncased Finetuned Emotion

🚀 distilbert-base-uncased-finetuned-emotion

本模型是 distilbert-base-uncased 在情感数据集上的微调版本。它在评估集上取得了出色的效果，能够精准地对文本进行情感分类，为情感分析任务提供了强大的支持。

🚀 快速开始

本模型是 distilbert-base-uncased 在情感数据集上的微调版本。它在评估集上取得了以下结果：

• 损失率：0.1448
• 准确率：0.9375
• F1值：0.9379

用于微调此模型的笔记本可在 此处 找到。

✨ 主要特性

模型描述

DistilBERT 是一种变压器模型，比 BERT 更小、更快。它以自监督的方式在相同语料库上进行预训练，并以 BERT 基础模型作为教师模型。这意味着它仅在原始文本上进行预训练，无需人工以任何方式对其进行标注（这就是它可以使用大量公开可用数据的原因），并通过自动过程使用 BERT 基础模型从这些文本中生成输入和标签。更确切地说，它通过三个目标进行预训练：

• 蒸馏损失：训练模型以返回与 BERT 基础模型相同的概率。
• 掩码语言建模（MLM）：这是 BERT 基础模型原始训练损失的一部分。在处理句子时，模型会随机屏蔽输入中 15% 的单词，然后将整个掩码句子输入模型，并预测被屏蔽的单词。这与传统的循环神经网络（RNN）通常逐个查看单词不同，也与像 GPT 这样的自回归模型在内部屏蔽未来标记不同。这使得模型能够学习句子的双向表示。
• 余弦嵌入损失：还训练模型生成尽可能接近 BERT 基础模型的隐藏状态。

通过这种方式，该模型学习到与教师模型相同的英语内部表示，同时在推理或下游任务中更快。

预期用途和限制

Emotion 是一个包含英语推特消息的数据集，涵盖六种基本情绪：愤怒、恐惧、喜悦、爱、悲伤和惊讶。该数据集是为论文 “CARER: Contextualized Affect Representations for Emotion Recognition”（Saravia 等人）开发的，通过噪声标签进行标注，采用了如论文 “Twitter sentiment classification using distant supervision”（Go 等人）中所述的远程监督方法。

DistilBERT 模型针对此数据集进行了微调，可将句子分类为六种基本情绪之一（愤怒、恐惧、喜悦、爱、悲伤和惊讶）。

📚 详细文档

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：64
• 评估批次大小：64
• 随机种子：42
• 优化器：Adam，β值为 (0.9, 0.999)，ε值为 1e-08
• 学习率调度器类型：线性
• 训练轮数：2

训练结果

框架版本

• Transformers 4.30.2
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.13.3

📄 许可证

本项目采用 Apache-2.0 许可证。