Distilroberta Finetuned Financial Text Classification

🚀 distilroberta-finetuned-financial-text-classification

このモデルは、distilroberta-base を sentence_50Agree financial-phrasebank + Kaggle データセット でファインチューニングしたものです。このデータセットは、4840件の金融ニュースを感情（ネガティブ、ニュートラル、ポジティブ）で分類したものです。Kaggle データセットには Covid-19 の感情データが含まれており、こちらで見ることができます: sentiment-classification-selflabel-dataset。 評価セットでは以下の結果を達成しています:

• 損失: 0.4463
• F1: 0.8835

🚀 クイックスタート

このモデルを使用することで、与えられたテキストの金融的な感情を判定することができます。

✨ 主な機能

• 与えられたテキストの金融的感情を判定します。
• クラスラベルの不均衡な分布を考慮し、サンプル数の少ないラベルに重みを調整して、全体的なパフォーマンスを向上させます。
• Covid-19 が収益や市場に与える影響について訓練されていないモデルが多いため、Covid データセットを追加してモデルを充実させています。

📚 ドキュメント

モデルの説明

モデルは、与えられたテキストの金融的感情を判定します。クラスラベルの不均衡な分布を考慮して、サンプル数の少ないラベルに重みを調整し、全体的なパフォーマンスを向上させます。Covid データセットを追加してモデルを充実させています。なぜなら、ほとんどのモデルが Covid-19 が収益や市場に与える影響について訓練されていないからです。

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました:

• 学習率: 2e-05
• 学習バッチサイズ: 64
• 評価バッチサイズ: 64
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• エポック数: 10
• 混合精度学習: Native AMP

学習結果

フレームワークのバージョン

• Transformers 4.15.0
• Pytorch 1.10.0+cu111
• Datasets 1.18.0
• Tokenizers 0.10.3

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。