Distilbert Base Uncased Finetuned Emotion

🚀 distilbert-base-uncased-finetuned-emotion

このモデルは、emotionデータセットでdistilbert-base-uncasedをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.1448
• 正解率: 0.9375
• F1: 0.9379

このモデルをファインチューニングするために使用されたノートブックはこちらで見つけることができます。

📚 ドキュメント

モデルの説明

DistilBERTは、BERTよりも小さく高速なトランスフォーマーモデルで、同じコーパスで自己教師付き学習により事前学習されています。教師モデルとしてBERTベースモデルを使用しています。つまり、人間によるラベル付けが一切ない生テキストのみを使用して事前学習されており（このため、公開されている大量のデータを利用できます）、BERTベースモデルを使用してそれらのテキストから入力とラベルを自動的に生成するプロセスが行われます。より正確には、以下の3つの目的で事前学習されています。

• 蒸留損失: モデルは、BERTベースモデルと同じ確率を返すように学習されました。
• マスク付き言語モデリング（MLM）: これは、BERTベースモデルの元の学習損失の一部です。文を入力として受け取ったとき、モデルは入力の単語の15%をランダムにマスクし、そのマスクされた文全体をモデルに通して、マスクされた単語を予測する必要があります。これは、通常は単語を順番に見る従来の再帰型ニューラルネットワーク（RNN）や、内部的に未来のトークンをマスクするGPTのような自己回帰モデルとは異なります。これにより、モデルは文の双方向的な表現を学習することができます。
• コサイン埋め込み損失: モデルは、BERTベースモデルとできるだけ近い隠れ状態を生成するように学習されました。

このように、モデルは教師モデルと同じ英語の内部表現を学習しながら、推論や下流タスクではより高速に動作します。

想定される用途と制限

Emotionは、怒り、恐怖、喜び、愛、悲しみ、驚きの6つの基本的な感情が付与された英語のTwitterメッセージのデータセットです。このデータセットは、論文「CARER: Contextualized Affect Representations for Emotion Recognition」（Saravia et al.）のために開発され、「Twitter sentiment classification using distant supervision」（Go et al）で説明されているように、遠隔監督によるノイズ付きラベルを使用して注釈付けされています。

DistilBERTモデルはこのデータセットでファインチューニングされ、文を6つの基本的な感情（怒り、恐怖、喜び、愛、悲しみ、驚き）のいずれかに分類することができます。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 5e-05
• 学習バッチサイズ: 64
• 評価バッチサイズ: 64
• シード: 42
• オプティマイザ: Adam（ベータ=(0.9, 0.999)、イプシロン=1e-08）
• 学習率スケジューラのタイプ: 線形
• エポック数: 2

学習結果

フレームワークのバージョン

• Transformers 4.30.2
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.13.3

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。