Finbert Pretrain Yiyanghkust

🚀 FinBERT項目

本項目是一個金融領域的預訓練模型項目，基於金融通信文本對BERT模型進行預訓練，旨在推動金融NLP的研究與實踐，可在下游任務中進行微調。

🚀 快速開始

本倉庫是 yiyanghkust/finbert-pretrain 的一個分支。

所有榮譽歸於 @yiyanghkust。

我添加了TensorFlow模型和一個合適的 tokenizer.json 文件。

✨ 主要特性

FinBERT 是一個基於金融通信文本進行預訓練的BERT模型，目的是加強金融自然語言處理（NLP）的研究和實踐。它在以下三個金融通信語料庫上進行訓練，語料庫總大小為49億個標記：

• 公司報告10 - K和10 - Q：25億個標記
• 財報電話會議記錄：13億個標記
• 分析師報告：11億個標記

關於 FinBERT 預訓練過程的更多詳細信息可查看：https://arxiv.org/abs/2006.08097

FinBERT 可以在下游任務中進行進一步微調。具體而言，我們已經在分析師情緒分類任務上對 FinBERT 進行了微調，微調後的模型可在 https://huggingface.co/yiyanghkust/finbert-tone 找到。