Finbert Pretrain

🚀 FinBERT

FinBERTは、金融関連のコミュニケーションテキストで事前学習されたBERTモデルです。金融自然言語処理（NLP）の研究と実践を強化することを目的としています。このモデルは以下の3つの金融コミュニケーションコーパスで学習されており、総コーパスサイズは49億トークンです。

• 企業報告書10-Kと10-Q：25億トークン
• 決算説明会の文字起こし：13億トークン
• アナリストレポート：11億トークン

もしあなたが学術研究でこのモデルを使用する場合は、以下の論文を引用してください。

Huang, Allen H., Hui Wang, and Yi Yang. "FinBERT: A Large Language Model for Extracting Information from Financial Text." Contemporary Accounting Research (2022).

Yang, Yi, Mark Christopher Siy Uy, and Allen Huang. "Finbert: A pretrained language model for financial communications." arXiv preprint arXiv:2006.08097 (2020).

FinBERTは、下流タスクでさらにファインチューニングすることができます。具体的には、金融感情分析、ESG分類、将来予測文分類などのタスクでFinBERTをファインチューニングしています。これらのタスク固有のモデルとFinBERTの最新の開発状況について詳しくは、FinBERT.AIをご覧ください。

🚀 クイックスタート

FinBERTは、金融関連の自然言語処理タスクに使用できる事前学習済みモデルです。下流タスクに合わせてファインチューニングすることが可能です。

✨ 主な機能

• 金融関連のコミュニケーションテキストで事前学習されている。
• 下流タスクでのファインチューニングが可能で、金融感情分析、ESG分類、将来予測文分類などのタスクに適用できる。

📚 ドキュメント

コーパス情報

引用情報

このモデルを学術研究で使用する場合は、以下の論文を引用してください。

• Huang, Allen H., Hui Wang, and Yi Yang. "FinBERT: A Large Language Model for Extracting Information from Financial Text." Contemporary Accounting Research (2022).
• Yang, Yi, Mark Christopher Siy Uy, and Allen Huang. "Finbert: A pretrained language model for financial communications." arXiv preprint arXiv:2006.08097 (2020).

下流タスク

FinBERTは、下流タスクでさらにファインチューニングすることができます。具体的には、金融感情分析、ESG分類、将来予測文分類などのタスクでファインチューニングしています。詳細については、FinBERT.AIをご覧ください。