🚀 finbert - tone 金融トピック分類モデルのファインチューニング
このモデルは、Twitter金融ニューストピックデータセットに基づいて、yiyanghkust/finbert - toneモデルをファインチューニングしたものです。金融関連のツイートを効果的にトピック分類し、金融情報の迅速な選別と分析に有力な支援を提供します。
🚀 クイックスタート
このモデルは、金融ツイートのトピック分類に直接使用できます。Hugging Faceの関連ドキュメントを参考に、デプロイと使用を行うことができます。
✨ 主な機能
- 多トピック分類:与えられたツイートを20の異なる金融トピックに分類できます。
- 性能最適化:クラスラベルの分布が不均衡であることを考慮して、重みを調整し、サンプル数の少ないラベルにより注目することで、全体的な性能を向上させます。
📚 ドキュメント
モデルの説明
このモデルは、与えられたツイートの金融トピックを特定するために使用され、20種類の異なるトピックをカバーしています。クラスラベルの分布が不均衡であるため、重みを調整してサンプル数の少ないラベルに注目することで、全体的な性能の向上に役立ちます。
訓練過程
訓練ハイパーパラメータ
訓練過程では、以下のハイパーパラメータが使用されました。
属性 |
詳細 |
学習率 |
2e - 05 |
訓練バッチサイズ |
64 |
評価バッチサイズ |
64 |
乱数シード |
42 |
オプティマイザ |
Adam(β1 = 0.9,β2 = 0.999,ε = 1e - 08) |
学習率スケジューラタイプ |
線形 |
訓練エポック数 |
20 |
混合精度訓練 |
ネイティブ自動混合精度(Native AMP) |
訓練結果
訓練損失 |
エポック数 |
ステップ数 |
検証損失 |
正解率 |
F1値 |
適合率 |
再現率 |
記録なし |
1.0 |
266 |
0.5152 |
0.8552 |
0.8504 |
0.8508 |
0.8552 |
0.7618 |
2.0 |
532 |
0.3999 |
0.8790 |
0.8781 |
0.8842 |
0.8790 |
0.7618 |
3.0 |
798 |
0.3628 |
0.8943 |
0.8940 |
0.8958 |
0.8943 |
0.16 |
4.0 |
1064 |
0.3776 |
0.8997 |
0.9001 |
0.9025 |
0.8997 |
0.16 |
5.0 |
1330 |
0.4286 |
0.8999 |
0.9002 |
0.9022 |
0.8999 |
0.058 |
6.0 |
1596 |
0.4500 |
0.9043 |
0.9042 |
0.9055 |
0.9043 |
0.058 |
7.0 |
1862 |
0.4689 |
0.9021 |
0.9017 |
0.9026 |
0.9021 |
0.0267 |
8.0 |
2128 |
0.4918 |
0.9031 |
0.9029 |
0.9039 |
0.9031 |
0.0267 |
9.0 |
2394 |
0.5030 |
0.9048 |
0.9049 |
0.9060 |
0.9048 |
0.0177 |
10.0 |
2660 |
0.5052 |
0.9033 |
0.9034 |
0.9044 |
0.9033 |
0.0177 |
11.0 |
2926 |
0.5265 |
0.9036 |
0.9034 |
0.9055 |
0.9036 |
0.013 |
12.0 |
3192 |
0.5267 |
0.9041 |
0.9041 |
0.9058 |
0.9041 |
0.013 |
13.0 |
3458 |
0.5090 |
0.9106 |
0.9106 |
0.9113 |
0.9106 |
0.0105 |
14.0 |
3724 |
0.5315 |
0.9067 |
0.9067 |
0.9080 |
0.9067 |
0.0105 |
15.0 |
3990 |
0.5339 |
0.9084 |
0.9084 |
0.9093 |
0.9084 |
0.0068 |
16.0 |
4256 |
0.5414 |
0.9072 |
0.9074 |
0.9088 |
0.9072 |
0.0051 |
17.0 |
4522 |
0.5460 |
0.9092 |
0.9091 |
0.9102 |
0.9092 |
0.0051 |
18.0 |
4788 |
0.5438 |
0.9072 |
0.9073 |
0.9081 |
0.9072 |
0.0035 |
19.0 |
5054 |
0.5474 |
0.9072 |
0.9073 |
0.9080 |
0.9072 |
0.0035 |
20.0 |
5320 |
0.5484 |
0.9079 |
0.9080 |
0.9087 |
0.9079 |
フレームワークバージョン
- Transformers 4.25.1
- Pytorch 1.13.0+cu116
- Datasets 2.8.0
- Tokenizers 0.13.2
評価指標
このモデルは、評価セットで以下の結果を得ました。
指標 |
値 |
損失 |
0.509021 |
正解率 |
0.910615 |
F1値 |
0.910647 |
適合率 |
0.911335 |
再現率 |
0.910615 |
モデルインデックス
モデル名 |
タスク |
データセット |
指標 |
finbert - tone - finetuned - finance - topic - classification |
テキスト分類 |
twitter - financial - news - topic |
F1: 0.910647,正解率: 0.910615 |
例
以下は、いくつかのサンプルツイートとそれに対応するトピックです。
サンプルツイート |
トピック |
Here are Thursday's biggest analyst calls: Apple, Amazon, Tesla, Palantir, DocuSign, Exxon & more |
アナリスト更新 |
LIVE: ECB surprises with 50bps hike, ending its negative rate era. President Christine Lagarde is taking questions |
連邦準備制度理事会と中央銀行 |
Goldman Sachs traders countered the industry’s underwriting slump with revenue gains that raced past analysts’ estimates. The trading operation posted a 32% surge in second - quarter revenue that included another banner period for fixed income |
企業と製品ニュース |
China Evergrande Group’s onshore bond holders rejected a plan by the distressed developer to further extend a bond payment which was due on Friday. Rebecca Choong Wilkins reports on Bloomberg Television |
国債と企業債務 |
Investing Club: Morgan Stanley's dividend, buyback pay us for our patience after quarterly missteps |
配当 |
Investing Club: Our takes on Amazon and Apple heading into next week's earnings reports |
収益報告 |
JUST RELEASED: Oil Price Dynamics Report → Over the past week, oil prices decreased as supply expectations rose and anticipated demand remained unchanged. |
エネルギーと石油 |
Delta Air Lines fell short of profit expectations in the second quarter and said high operating costs will persist through the rest of the year. Bloomberg Opinion's Brooke Sutherland has more on 'Bloomberg Markets' |
財務状況 |
BREAKING: The Indian rupee plummets to a record 80 per US dollar as foreign investors pull out money from the nation's stocks |
通貨 |
Twitter and Elon Musk are now in a high stakes/high risk situation, one analyst said. |
総合ニュースと意見 |
Copper prices are signaling that investors are bearish on the economy, strategist says |
金、金属と材料 |
Johnson & Johnson CFO Joe Wolk says the company is positioned for the long term and the plans for its consumer operations include an IPO. He speaks on 'Bloomberg Markets' |
初公開株 |
Company and Elon Musk are set for a blockbuster courtroom battle over Musk’s attempt to terminate his $44 billion acquisition deal for $TWTR, according to Wedbush analyst Dan Ives. |
法律と規制 |
Amazon to buy primary health care provider One Medical for roughly $3.9 billion |
合併と投資 |
Barclays Senior Analyst For Equity Research Jason Goldberg: 'Price expectations have changed.'' The global markets business recorded $6.47 billion of revenue in the quarter with rates, commodities and currencies helping drive the fixed - income gains. |
マクロ経済 |
US stocks push higher in a volatile session. We break it down on The Countdown to The Close |
市場動向 |
Zelenskyy fires security chiefs over ‘treasonous’ officials |
政治 |
Airbnb co - founder Joe Gebbia is stepping down |
人事異動 |
French power group EDF requests its shares be suspended |
株式評論 |
JUST IN: Alibaba shares slide as much as 5.7%, bringing this week's slump to over 15%, after it reportedly faced a data - theft inquiry |
株価動向 |