Finbert Pretrain

🚀 FinBERT預訓練模型

FinBERT是一個在金融通信文本上進行預訓練的BERT模型，旨在推動金融自然語言處理（NLP）的研究與實踐發展。

🚀 快速開始

FinBERT可直接從Transformers庫中加載，以下是加載模型的代碼示例：

from transformers import AutoModelForMaskedLM
model = AutoModelForMaskedLM.from_pretrained("demo-org/finbert-pretrain", use_auth_token=True)

✨ 主要特性

• 預訓練數據豐富：基於企業報告（10 - K和10 - Q）、財報電話會議記錄以及分析師報告等金融通信語料庫進行預訓練，總語料庫規模達49億個標記。
• 可微調性：能夠在下游任務上進行微調，例如已在分析師情緒分類任務上進行微調。

📦 安裝指南

暫未提供具體安裝步驟，可參考上述快速開始部分的代碼示例加載模型。

💻 使用示例

基礎用法

from transformers import AutoModelForMaskedLM
model = AutoModelForMaskedLM.from_pretrained("demo-org/finbert-pretrain", use_auth_token=True)

📚 詳細文檔

預訓練情況

FinBERT在以下三個金融通信語料庫上進行訓練，總語料庫大小為49億個標記：

• 企業報告10 - K和10 - Q：25億個標記
• 財報電話會議記錄：13億個標記
• 分析師報告：11億個標記

整個訓練過程在一臺NVIDIA DGX - 1機器上完成。該服務器配備4個Tesla P100 GPU，提供總共128GB的GPU內存。藉助這臺機器，我們能夠以128的批量大小訓練BERT模型，並使用Horovord框架進行多GPU訓練。總體而言，完成一個模型的預訓練大約需要2天時間。

更多關於FinBERT預訓練過程的詳細信息可查看：https://arxiv.org/abs/2006.08097

微調情況

FinBERT可以在下游任務上進一步微調。具體來說，我們已經在分析師情緒分類任務上對FinBERT進行了微調，微調後的模型可在https://huggingface.co/demo-org/auditor_review_model獲取。

問題諮詢

如果您對這個預訓練模型有更多疑問，請聯繫數據科學卓越中心（Data Science COE）。

演示模型說明

本模型卡片僅用於演示目的。該模型的原始模型卡片請見https://huggingface.co/yiyanghkust/finbert-pretrain。

🔧 技術細節

• 訓練硬件：使用NVIDIA DGX - 1機器，配備4個Tesla P100 GPU，共128GB GPU內存。
• 訓練框架：採用Horovord框架進行多GPU訓練。
• 訓練時間：完成一個模型的預訓練約需2天。
• 訓練語料：企業報告10 - K和10 - Q、財報電話會議記錄、分析師報告，總語料庫規模49億個標記。