Distilbert Base Uncased Finetuned Emotion

🚀 distilbert-base-uncased-finetuned-emotion

本模型是 distilbert-base-uncased 在情感數據集上的微調版本。它在評估集上取得了出色的效果，能夠精準地對文本進行情感分類，為情感分析任務提供了強大的支持。

🚀 快速開始

本模型是 distilbert-base-uncased 在情感數據集上的微調版本。它在評估集上取得了以下結果：

• 損失率：0.1448
• 準確率：0.9375
• F1值：0.9379

用於微調此模型的筆記本可在 此處 找到。

✨ 主要特性

模型描述

DistilBERT 是一種變壓器模型，比 BERT 更小、更快。它以自監督的方式在相同語料庫上進行預訓練，並以 BERT 基礎模型作為教師模型。這意味著它僅在原始文本上進行預訓練，無需人工以任何方式對其進行標註（這就是它可以使用大量公開可用數據的原因），並通過自動過程使用 BERT 基礎模型從這些文本中生成輸入和標籤。更確切地說，它通過三個目標進行預訓練：

• 蒸餾損失：訓練模型以返回與 BERT 基礎模型相同的概率。
• 掩碼語言建模（MLM）：這是 BERT 基礎模型原始訓練損失的一部分。在處理句子時，模型會隨機屏蔽輸入中 15% 的單詞，然後將整個掩碼句子輸入模型，並預測被屏蔽的單詞。這與傳統的循環神經網絡（RNN）通常逐個查看單詞不同，也與像 GPT 這樣的自迴歸模型在內部屏蔽未來標記不同。這使得模型能夠學習句子的雙向表示。
• 餘弦嵌入損失：還訓練模型生成儘可能接近 BERT 基礎模型的隱藏狀態。

通過這種方式，該模型學習到與教師模型相同的英語內部表示，同時在推理或下游任務中更快。

預期用途和限制

Emotion 是一個包含英語推特消息的數據集，涵蓋六種基本情緒：憤怒、恐懼、喜悅、愛、悲傷和驚訝。該數據集是為論文 “CARER: Contextualized Affect Representations for Emotion Recognition”（Saravia 等人）開發的，通過噪聲標籤進行標註，採用瞭如論文 “Twitter sentiment classification using distant supervision”（Go 等人）中所述的遠程監督方法。

DistilBERT 模型針對此數據集進行了微調，可將句子分類為六種基本情緒之一（憤怒、恐懼、喜悅、愛、悲傷和驚訝）。

📚 詳細文檔

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：5e-05
• 訓練批次大小：64
• 評估批次大小：64
• 隨機種子：42
• 優化器：Adam，β值為 (0.9, 0.999)，ε值為 1e-08
• 學習率調度器類型：線性
• 訓練輪數：2

訓練結果

框架版本

• Transformers 4.30.2
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.13.3

📄 許可證

本項目採用 Apache-2.0 許可證。