Deberta V3 Ft Financial News Sentiment Analysis

🚀 DeBERTa-v3-small-ft-news-sentiment-analisys

このモデルは、microsoft/deberta-v3-small をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

🚀 クイックスタート

このモデルは金融ニュースの文章の極性感情分析に使用できます。以下の手順で簡単に始めることができます。

✨ 主な機能

• DeBERTa V3の改良版で、金融ニュースの感情分析に特化しています。
• 評価セットで高いF1スコアと精度を達成しています。

📦 インストール

まだインストールしていない場合は、以下のコマンドを実行してください。

pip install transformers sentencepiece

💻 使用例

基本的な使用法

from transformers import pipeline

task = "text-classification"
model_id = "mrm8488/deberta-v3-ft-financial-news-sentiment-analysis"

classifier = pipeline(task, model_id)
text = "Tesla cars are not as good as expected"
result = classifier(text)
print(result)

📚 ドキュメント

モデルの説明

DeBERTa は、分離型注意機構と強化マスクデコーダを使用してBERTとRoBERTaモデルを改善しました。これら2つの改良により、DeBERTaは80GBのトレーニングデータを使用して大多数のNLUタスクでRoBERTaを上回っています。

DeBERTa V3 では、勾配分離埋め込み共有を用いたELECTRAスタイルの事前学習を使用して、DeBERTaの効率をさらに向上させました。DeBERTaと比較して、V3バージョンは下流タスクでのモデル性能を大幅に向上させています。新しいモデルの詳細な技術情報は、論文 を参照してください。

実装の詳細や更新情報については、公式リポジトリ を確認してください。

DeBERTa V3 smallモデルは6層で隠れサイズが768です。128Kトークンを含む語彙で44Mのバックボーンパラメータを持ち、埋め込み層に98Mのパラメータを導入しています。このモデルはDeBERTa V2と同じく160GBのデータを使用してトレーニングされました。

トレーニングと評価データ

金融ニュースの文章の極性感情データセットです。このデータセットは、英語の金融ニュースから抽出された4840の文章で構成されており、感情によって分類されています。データセットは5 - 8人のアノテーターの合意率によって分割されています。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

トレーニング結果

フレームワークバージョン

• Transformers 4.35.2
• Pytorch 2.1.0+cu121
• Datasets 2.16.1
• Tokenizers 0.15.0

評価セットの結果

🔧 技術詳細

DeBERTaは分離型注意機構と強化マスクデコーダを用いてBERTやRoBERTaを改良し、DeBERTa V3ではELECTRAスタイルの事前学習と勾配分離埋め込み共有を導入して効率を向上させています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

引用

@misc {manuel_romero_2024,
    author       = { {Manuel Romero} },
    title        = { deberta-v3-ft-financial-news-sentiment-analysis (Revision 7430ace) },
    year         = 2024,
    url          = { https://huggingface.co/mrm8488/deberta-v3-ft-financial-news-sentiment-analysis },
    doi          = { 10.57967/hf/1666 },
    publisher    = { Hugging Face }
}