Bert Base Finance Sentiment Noisy Search

🚀 bert-base-finance-sentiment-noisy-search

このモデルは、ノイジーサーチを用いたデータ拡張を行ったKaggleの金融ニュースセンチメント分析において、bert-base-uncased をファインチューニングしたバージョンです。このプロセスは以下の通りです。

🚀 クイックスタート

このモデルは、金融ニュースのセンチメント分析に使用できます。以下に、その概要を説明します。

1. まず、"bert-base-uncased" をKaggleの金融ニュースセンチメント分析のデータセット https://www.kaggle.com/ankurzing/sentiment-analysis-for-financial-news でファインチューニングし、約88%の精度を達成しました。
2. 次に、同じデータに対してロジスティック回帰分類器を使用しました。ここでは、バイグラムのみを調べることで、"Positive" と "Negative" のクラスに最も寄与する係数を調べました。
3. 各クラス（つまり、"Positive" / "Negative"）の上位25個のバイグラムを使用して、それらのバイグラムでBingニュース検索を行い、バイグラムフレーズごとに最大50件のニュース記事を取得しました。
4. これを "ノイジーサーチ" と呼んでいます。なぜなら、肯定的なバイグラム（例："profit rose"、"growth net"）は肯定的な例を生み出し、否定的なバイグラム（例："loss increase"、"share loss"）は否定的な例を生み出すと想定されていますが、この仮定の有効性をテストしていないためです（したがって、ノイジーサーチ）。
5. 各記事について、タイトルと抜粋を残し、クラスの関連付けに関する事前の仮定に従ってラベル付けを行いました。
6. 次に、ノイジーデータで同じモデルをトレーニングし、元のデータセット分割から取り出したテストセットに適用しました。
7. 数千件のノイジーな "Positive" と "Negative" の例でトレーニングすることで、テストセットの精度が約95%に達しました。
8. これは、検索を使用してノイジーな例を自動的に収集することで、精度を約88%から95%以上に向上させることができることを示しています。

ロジスティック回帰（LR）とBERT（base-cased）の精度結果は、添付のPDFに示されています。

精度結果PDF

✨ 主な機能

• 金融ニュースのセンチメント分析に使用できます。
• ノイジーサーチを用いたデータ拡張により、精度を向上させることができます。

📚 ドキュメント

モデルの説明

検索結果のノイジーデータでトレーニングされたBERTモデルです。詳細はPDFを参照してください。

想定される用途と制限

金融ニュースのセンチメント分析に使用することを想定しており、"Positive"、"Neutral"、"Negative" の3つのオプションがあります。 最良の結果を得るには、分類器にタイトルと最初の段落または短いニュース要約（例：最大64トークン）を入力してください。

トレーニングのハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

フレームワークのバージョン

• Transformers 4.16.2
• Pytorch 1.10.0+cu111
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。