Finbert Pretrain

🚀 FinBERT

FinBERTは、金融コミュニケーションテキストで事前学習されたBERTモデルです。金融自然言語処理（NLP）の研究と実践を強化することを目的としています。

🚀 クイックスタート

FinBERTは金融コミュニケーションテキストを用いて事前学習されたBERTモデルで、金融NLPの研究や実務に役立ちます。以下に、FinBERTの事前学習や使用方法などの詳細を説明します。

✨ 主な機能

• 金融コミュニケーションテキストで事前学習されたBERTモデルで、金融NLPの研究や実務に適用可能。
• 下流タスクに対して追加の微調整が可能。

📦 インストール

このセクションでは、FinBERTを使用するためのインストール方法について説明しません。直接モデルをロードする方法を以下に示します。

💻 使用例

基本的な使用法

# Load the model directly from Transformers
from transformers import AutoModelForMaskedLM
model = AutoModelForMaskedLM.from_pretrained("demo-org/finbert-pretrain", use_auth_token=True)

📚 ドキュメント

事前学習

FinBERTは以下の3つの金融コミュニケーションコーパスで学習されています。総コーパスサイズは49億トークンです。

• 企業報告書10-Kと10-Q: 25億トークン
• 決算説明会のトランスクリプト: 13億トークン
• アナリストレポート: 11億トークン

学習全体はNVIDIA DGX-1マシンを使用して行われました。このサーバーには4つのTesla P100 GPUが搭載され、合計128GBのGPUメモリを提供します。このマシンを使用することで、バッチサイズ128でBERTモデルを学習することができます。また、多GPU学習にはHorovordフレームワークを利用しています。全体として、1つのモデルの事前学習にかかる総時間は約2日です。

FinBERTの事前学習プロセスの詳細については、以下のリンクを参照してください。 https://arxiv.org/abs/2006.08097

FinBERTは下流タスクでさらに微調整することができます。具体的には、アナリストのセンチメント分類タスクでFinBERTを微調整し、微調整したモデルをhttps://huggingface.co/demo-org/auditor_review_modelで共有しています。

質問

この事前学習モデルに関する追加の質問がある場合は、Data Science COEにお問い合わせください。

デモモデル

このモデルカードはデモ目的で作成されています。このモデルの元のモデルカードはhttps://huggingface.co/yiyanghkust/finbert-pretrainです。