Distilbert Base Uncased Finetuned On Emotions Data

🚀 distilbert-base-uncased_finetuned_on_emotions_data

このモデルは、未知のデータセットでdistilbert-base-uncasedをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.1561
• 正解率: 0.933
• F1値: 0.9328

✨ 主な機能

このモデルは、テキストを分析し、喜び、悲しみ、怒りなどの異なる感情カテゴリに分類するように設計されています。感情がラベル付けされたデータセットでトレーニングされており、入力テキストの感情的なトーンを識別することができます。モデルはテキストを処理し、与えられたコンテキストに最適な感情を予測することで機能します。

📚 ドキュメント

想定される用途と制限

詳細情報が必要です。

制限事項

• このモデルは、恐怖と怒り、喜びと愛の区別がつきにくい場合があります。恐怖と怒りは、いずれも不満、ストレス、危険などの状況で似たような形で表現されることが多いため、区別が難しいことがあります。また、これらの感情を表現する言語にも重複があり、「不安」「イライラ」「脅された」などの言葉は、文脈によって恐怖または怒りのいずれとも解釈できます。このような言語的な手がかりの重複により、モデルが2つの感情を区別することが困難になることがあります。同様に、愛と喜びの区別も難しい場合があります。

トレーニングと評価データ

Hugging Faceで利用可能な感情データを使用しました。

• トレーニングデータ: emotion['train']
• 評価データ: emotion['evaluation']

混同行列

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中には以下のハイパーパラメータが使用されました。

• 学習率: 2e-05
• トレーニングバッチサイズ: 64
• 評価バッチサイズ: 64
• シード: 42
• オプティマイザ: betas=(0.9,0.999)、epsilon=1e-08のadamw_torchを使用。追加のオプティマイザ引数はありません。
• 学習率スケジューラの種類: 線形
• エポック数: 4

トレーニング結果

フレームワークバージョン

• Transformers 4.47.1
• Pytorch 2.5.1+cu121
• Datasets 3.2.0
• Tokenizers 0.21.0

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。