Bert Base Finance Sentiment Noisy Search

🚀 bert-base-finance-sentiment-noisy-search

該模型是基於Kaggle財經新聞情感分析數據集，使用噪聲搜索進行數據增強，對 bert-base-uncased 進行微調後的版本，可有效提升財經新聞情感分析的準確率。

🚀 快速開始

此模型是在Kaggle財經新聞情感分析任務中，對 bert-base-uncased 進行微調的版本，使用了噪聲搜索進行數據增強，具體過程如下：

1. 首先，在Kaggle的財經新聞情感分析數據集（https://www.kaggle.com/ankurzing/sentiment-analysis-for-financial-news ）上對 “bert-base-uncased” 進行微調，準確率約為88%。
2. 接著，在相同數據上使用邏輯迴歸分類器。通過僅檢查二元詞組，找出對 “積極” 和 “消極” 類別貢獻最大的係數。
3. 針對每個類別（即 “積極” / “消極”）選取前25個二元詞組，使用這些二元詞組調用必應新聞搜索，每個二元詞組最多檢索50條新聞。
4. 之所以稱之為 “噪聲搜索”，是因為假設積極的二元詞組（如 “利潤增長”、“淨增長”）會產生積極的示例，而消極的二元詞組（如 “虧損增加”、“股份損失”）會產生消極的示例，但並未驗證該假設的有效性（因此稱為 “噪聲搜索”）。
5. 對於每篇文章，保留標題和摘要，並根據預先假設的類別關聯進行標註。
6. 然後，在噪聲數據上對同一模型進行訓練，並將其應用於原始數據集拆分後的保留測試集。
7. 使用數千個噪聲 “積極” 和 “消極” 示例進行訓練後，測試集的準確率約為95%。
8. 這表明，通過使用搜索自動收集噪聲示例，可以將準確率從約88%提高到超過95%。

邏輯迴歸（LR）和BERT（基礎大小寫敏感）的準確率結果見附件PDF： https://drive.google.com/file/d/1MI9gRdppactVZ_XvhCwvoaOV1aRfprrd/view?usp=sharing

✨ 主要特性

• 數據增強：使用噪聲搜索收集額外數據，提升模型性能。
• 高準確率：在測試集上達到約95%的準確率。
• 多分類支持：可對財經新聞進行 “積極”、“中性” 和 “消極” 三種情感分類。

📚 詳細文檔

模型描述

該BERT模型在搜索結果的噪聲數據上進行訓練。更多詳細信息請參閱PDF文件。

預期用途和限制

• 預期用途：用於財經新聞情感分析，有 “積極”、“中性” 和 “消極” 三種分類選項。
• 使用建議：為獲得最佳結果，向分類器輸入新聞標題和第一段內容或簡短的新聞摘要（例如，最多64個詞元）。

訓練超參數

訓練過程中使用了以下超參數：

框架版本

• Transformers 4.16.2
• Pytorch 1.10.0+cu111
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 許可證

本模型採用 Apache-2.0 許可證。