Econosentiment

🚀 EconoSentiment

このモデルは、FinanceMTEBのFinancial Phrase Bankデータセットでsamchain/econo - sentence - v2をファインチューニングしたバージョンです。完全なモデルは、エンコーダを凍結する代わりに小さい学習率を使用してトレーニングされています。したがって、このモデルのエンコーダは、感情分析以外のタスクには使用しないでください。

評価セットでは以下の結果を達成しています：

• 損失: 0.1293
• 正解率: 0.962
• F1値: 0.9619
• 適合率: 0.9619
• 再現率: 0.962

✨ 主な機能

このモデルは、金融分野の感情分析に役立つツールを提供するようにトレーニングされています。

📚 ドキュメント

モデルの説明

ベースモデルは、EconoBertから構築されたsentence - transformersモデルです。

想定される用途と制限

このモデルは、金融分野の感情分析に有用なツールを提供するためにトレーニングされています。

トレーニングと評価データ

データセットは、FinanceMTEBのHugging Faceリポジトリから直接ダウンロードされました。前処理では、固定のシーケンス長512トークンにトークナイズされました。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました：

• 学習率: 3e - 05
• トレーニングバッチサイズ: 8
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: betas=(0.9,0.999)、epsilon = 1e - 08のadamw_torchを使用し、追加のオプティマイザ引数はありません
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 100
• エポック数: 2

トレーニング結果

フレームワークのバージョン

• Transformers 4.50.0
• Pytorch 2.1.0+cu118
• Datasets 3.4.1
• Tokenizers 0.21.1

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。

モデル情報