Distilbert Base Uncased Financial News Sentiment Analysis

🚀 DistilBERT 金融センチメント分析用ファインチューニング済みモデル

このモデルは、金融ドメインのセンチメント分析に特化した、distilbert-base-uncased のファインチューニング済みバージョンです。金融テキストをネガティブ、ニュートラル、ポジティブの3つのセンチメントカテゴリに分類することができます。

🚀 クイックスタート

このモデルは、金融ドメインのセンチメント分析に特化した、distilbert-base-uncased のファインチューニング済みバージョンです。Financial PhraseBank データセットを使用して訓練され、金融テキストを以下の3つのセンチメントカテゴリに分類することができます。

• ネガティブ (ラベル 0)
• ニュートラル (ラベル 1)
• ポジティブ (ラベル 2)

✨ 主な機能

• 金融ドメインのセンチメント分析に最適化されたモデル。
• Financial PhraseBank データセットで訓練され、高い精度を達成。
• 金融テキストをネガティブ、ニュートラル、ポジティブの3つのセンチメントカテゴリに分類。

📚 ドキュメント

モデルの性能

このモデルは5エポックで訓練され、データセットの20%をテストセットとして評価されました。

評価指標

訓練指標

• 最終訓練損失: 0.0797
• 総訓練時間: 約3869秒 (~1.07時間)
• 1秒あたりの訓練サンプル数: 2.34
• 1秒あたりの訓練ステップ数: 0.147

訓練手順

データ

• データセット: Financial PhraseBank
• 設定: sentences_allagree (すべてのアノテーターがセンチメントに同意した文)
• データセットサイズ: 2264文
• データ分割: 80% 訓練 (1811サンプル), 20% テスト (453サンプル)

モデル設定

• ベースモデル: distilbert-base-uncased
• ラベル数: 3 (ネガティブ、ニュートラル、ポジティブ)
• トークナイザー: ベースモデルと同じトークナイザー

ハイパーパラメータ

• エポック数: 5
• バッチサイズ: 16 (訓練), 64 (評価)
• 学習率: 5e-5
• オプティマイザー: AdamW
• 評価指標: 精度
• シード: 42 (再現性のため)

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("AnkitAI/distilbert-base-uncased-financial-news-sentiment-analysis")
model = AutoModelForSequenceClassification.from_pretrained("AnkitAI/distilbert-base-uncased-financial-news-sentiment-analysis")

text = "The company's revenue declined significantly due to market competition."
inputs = tokenizer(text, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

logits = outputs.logits
predicted_class_id = logits.argmax().item()

label_mapping = {0: "Negative", 1: "Neutral", 2: "Positive"}
predicted_label = label_mapping[predicted_class_id]

print(f"Text: {text}")
print(f"Predicted Sentiment: {predicted_label}")

📄 ライセンス

このモデルは Apache 2.0 License の下でライセンスされています。このモデルをアプリケーションで自由に使用、変更、配布することができます。

引用

このモデルを研究やアプリケーションで使用する場合は、以下のように引用してください。

@misc{AnkitAI_2024_financial_sentiment_model,
  title={DistilBERT Fine-Tuned for Financial Sentiment Analysis},
  author={Ankit Aglawe},
  year={2024},
  howpublished={\url{https://huggingface.co/AnkitAI/distilbert-base-uncased-financial-news-sentiment-analysis}},
}

謝辞

• Hugging Face: Transformersライブラリとモデルホスティングを提供してくれたことに感謝します。
• データ提供者: Financial PhraseBankデータセットの作成者に感謝します。
• コミュニティ: 継続的なサポートと貢献をしてくれたオープンソースコミュニティに感謝します。

連絡先

質問、フィードバック、または協力の機会については、以下の連絡先にご連絡ください。

• 名前: Ankit Aglawe
• メール: [aglawe.ankit@gmail.com]
• GitHub: GitHub Profile
• LinkedIn: LinkedIn Profile