KR FinBert SC

🚀 KR-FinBert與KR-FinBert-SC

在自然語言處理（NLP）領域已經取得了很大進展，眾多研究表明，使用小規模語料庫進行領域適配，並利用標註數據進行微調，對提升整體性能十分有效。我們針對金融領域提出了KR-FinBert，通過在金融語料庫上進一步預訓練，並針對情感分析進行微調。正如許多研究所示，在本次實驗中，通過適配和執行下游任務所帶來的性能提升也十分顯著。

📦 安裝指南

文檔未提及安裝步驟，跳過此章節。

🚀 快速開始

在自然語言處理（NLP）領域，利用小規模語料庫進行領域適配和標註數據微調來提升性能已被廣泛驗證。KR-FinBert正是針對金融領域，在金融語料庫上進一步預訓練並針對情感分析微調得到的模型。

✨ 主要特性

• 數據豐富：訓練數據來源廣泛，涵蓋韓國維基百科、新聞文章、法律文本等，還添加了企業相關經濟新聞文章和分析師報告。
• 性能優越：在情感分類等下游任務中表現出色，相比其他模型有較高的準確率。

📚 詳細文檔

數據

該模型的訓練數據在**KR-BERT-MEDIUM** 的基礎上進行了擴展，包括來自韓國維基百科的文本、一般新聞文章、從國家法律信息中心爬取的法律文本以及韓國評論數據集。在遷移學習方面，添加了來自72家媒體（如《金融時報》《韓國經濟日報》等）的企業相關經濟新聞文章，以及來自16家證券公司（如Kiwoom證券、三星證券等）的分析師報告。數據集中包含440,067條新聞標題及其內容，以及11,237份分析師報告。數據總大小約為13.22GB。在進行掩碼語言模型（mlm）訓練時，我們逐行分割數據，總行數為6,379,315。 KR-FinBert進行了550萬步的訓練，最大長度為512，訓練批次大小為32，學習率為5e - 5。使用NVIDIA TITAN XP訓練該模型耗時67.48小時。

下游任務

情感分類模型

使用50,000條標註數據進行下游任務性能測試。

推理示例

引用

@misc{kr-FinBert-SC,
  author = {Kim, Eunhee and Hyopil Shin},
  title = {KR-FinBert: Fine-tuning KR-FinBert for Sentiment Analysis},
  year = {2022},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://huggingface.co/snunlp/KR-FinBert-SC}}
}