Distilbert Base Uncased Financial News Sentiment Analysis

🚀 DistilBERT 針對金融情感分析的微調模型

本模型專為金融領域的情感分析而設計，微調自 DistilBERT 基礎模型，能有效對金融文本進行情感分類，為金融數據處理提供了強大支持。

🚀 快速開始

你可以使用 Hugging Face 的 transformers 庫加載並使用該模型，示例代碼如下：

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("AnkitAI/distilbert-base-uncased-financial-news-sentiment-analysis")
model = AutoModelForSequenceClassification.from_pretrained("AnkitAI/distilbert-base-uncased-financial-news-sentiment-analysis")

text = "The company's revenue declined significantly due to market competition."
inputs = tokenizer(text, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

logits = outputs.logits
predicted_class_id = logits.argmax().item()

label_mapping = {0: "Negative", 1: "Neutral", 2: "Positive"}
predicted_label = label_mapping[predicted_class_id]

print(f"Text: {text}")
print(f"Predicted Sentiment: {predicted_label}")

✨ 主要特性

• 該模型是 distilbert-base-uncased 的微調版本，專門用於金融領域的情感分析。
• 它在 Financial PhraseBank 數據集上進行訓練，可將金融文本分為三種情感類別：負面（標籤 0）、中性（標籤 1）和正面（標籤 2）。

📚 詳細文檔

模型性能

該模型訓練了 5 個輪次，並在佔數據集 20% 的保留測試集上進行評估。

評估指標

訓練指標

• 最終訓練損失：0.0797
• 總訓練時間：約 3869 秒（約 1.07 小時）
• 每秒訓練樣本數：2.34
• 每秒訓練步數：0.147

訓練過程

數據

• 數據集：Financial PhraseBank
• 配置：sentences_allagree（所有標註者對情感達成一致的句子）
• 數據集大小：2264 個句子
• 數據劃分：80% 用於訓練（1811 個樣本），20% 用於測試（453 個樣本）

模型配置

• 基礎模型：distilbert-base-uncased
• 標籤數量：3（負面、中性、正面）
• 分詞器：與基礎模型的分詞器相同

超參數

• 輪次數量：5
• 批量大小：訓練時為 16，評估時為 64
• 學習率：5e - 5
• 優化器：AdamW
• 評估指標：準確率
• 隨機種子：42（用於可重複性）

📄 許可證

本模型採用 Apache 2.0 許可證。你可以在應用程序中自由使用、修改和分發此模型。

📚 引用

如果你在研究或應用中使用此模型，請按以下方式引用：

@misc{AnkitAI_2024_financial_sentiment_model,
  title={DistilBERT Fine-Tuned for Financial Sentiment Analysis},
  author={Ankit Aglawe},
  year={2024},
  howpublished={\url{https://huggingface.co/AnkitAI/distilbert-base-uncased-financial-news-sentiment-analysis}},
}

🙏 致謝

• Hugging Face：提供 Transformers 庫和模型託管服務。
• 數據提供者：感謝 Financial PhraseBank 數據集的創建者。
• 社區：感謝開源社區的持續支持和貢獻。

📞 聯繫信息

如有問題、反饋或合作機會，請聯繫：

• 姓名：Ankit Aglawe
• 郵箱：[aglawe.ankit@gmail.com]
• GitHub：GitHub 個人主頁
• 領英：領英個人主頁