Sec Bert Base

🚀 SEC-BERT

SEC-BERTは、金融ドメイン向けのBERTモデルファミリーです。金融分野の自然言語処理（NLP）研究やフィンテックアプリケーションの支援を目的としています。

🚀 クイックスタート

SEC-BERTは、金融ドメイン向けのBERTモデルファミリーで、金融NLP研究やフィンテックアプリケーションを支援することを目的としています。SEC-BERTには以下のモデルが含まれています。

• SEC-BERT-BASE (このモデル): 金融文書で学習されたBERT-BASEと同じアーキテクチャ。
• SEC-BERT-NUM: SEC-BERT-BASEと同じですが、すべての数値トークンを[NUM]疑似トークンに置き換えることで、すべての数値表現を統一的に扱い、それらの断片化を防ぎます。
• SEC-BERT-SHAPE: SEC-BERT-BASEと同じですが、数値をその形状を表す疑似トークンに置き換えるため、（既知の形状の）数値表現が断片化されなくなります。例えば、'53.2' は '[XX.X]' に、'40,200.5' は '[XX,XXX.X]' になります。

✨ 主な機能

SEC-BERTは金融ドメイン向けに特化したBERTモデルで、金融文書に対する理解や解析能力が高いです。異なるバリエーション（SEC-BERT-BASE、SEC-BERT-NUM、SEC-BERT-SHAPE）があり、数値表現の扱い方を変えることで、様々な金融NLPタスクに対応できます。

📚 ドキュメント

事前学習コーパス

このモデルは、1993年から2019年までの260,773件の10-Kファイリングを使って事前学習されました。これらのファイリングは、米国証券取引委員会（SEC）から公開されています。

事前学習の詳細

• 事前学習コーパス上でBertWordPieceTokenizerを最初から学習させることで、30kのサブワードからなる新しい語彙を作成しました。
• Google BERTのGitHubリポジトリに提供されている公式コードを使ってBERTを学習させました。
• その後、Hugging FaceのTransformersの変換スクリプトを使って、TFチェックポイントを目的の形式に変換し、PyTorchとTF2のユーザーが2行のコードでモデルをロードできるようにしました。
• 英語のBERT-BASEモデル（12層、768隠れ層、12ヘッド、1億1000万パラメータ）と同様のモデルを公開します。
• 同じ学習設定を選択しました。すなわち、バッチサイズ256、シーケンス長512のデータで100万ステップの学習を行い、初期学習率は1e-4としました。
• [TensorFlow Research Cloud (TRC)]((https://sites.research.google/trc)から無料で提供された単一のGoogle Cloud TPU v3-8を使用することができ、またGCP research creditsも活用しました。これらのGoogleのプログラムに大きな感謝を申し上げます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-base")
model = AutoModel.from_pretrained("nlpaueb/sec-bert-base")

モデルの予測結果

サンプル1

サンプル2

サンプル3

サンプル4

サンプル5

サンプル6

サンプル7

サンプル8

サンプル9

サンプル10

サンプル11

📄 ライセンス

このモデルは、CC BY-SA 4.0ライセンスの下で公開されています。

🔧 技術詳細

論文に関する情報や引用方法を以下に示します。

論文情報

このモデルを使用する場合は、以下の論文を引用してください。 FiNER: Financial Numeric Entity Recognition for XBRL Tagging Lefteris Loukas, Manos Fergadiotis, Ilias Chalkidis, Eirini Spyropoulou, Prodromos Malakasiotis, Ion Androutsopoulos and George Paliouras In the Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022) (Long Papers), Dublin, Republic of Ireland, May 22 - 27, 2022

BibTeX引用

@inproceedings{loukas-etal-2022-finer,
    title = {FiNER: Financial Numeric Entity Recognition for XBRL Tagging},
    author = {Loukas, Lefteris and
      Fergadiotis, Manos and
      Chalkidis, Ilias and
      Spyropoulou, Eirini and
      Malakasiotis, Prodromos and
      Androutsopoulos, Ion and
      Paliouras George},
    booktitle = {Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022)},
    publisher = {Association for Computational Linguistics},
    location = {Dublin, Republic of Ireland},
    year = {2022},
    url = {https://arxiv.org/abs/2203.06482}
}

開発者について

AUEBの自然言語処理グループは、コンピュータが自然言語テキストを処理および生成できるようにするアルゴリズム、モデル、およびシステムを開発しています。

このグループの現在の研究興味は以下の通りです。

• データベース、オントロジー、文書コレクション、およびWebに対する質問応答システム、特にバイオメディカル質問応答
• データベースおよびオントロジーからの自然言語生成、特にセマンティックWebオントロジー
• テキスト分類、スパムや虐待的なコンテンツのフィルタリングを含む
• 情報抽出と意見マイニング、法的テキスト分析やセンチメント分析を含む
• ギリシャ語の自然言語処理ツール、例えばパーサーや固有表現認識器
• 自然言語処理における機械学習、特にディープラーニング

このグループは、アテネ経済大学情報学部の情報処理研究室の一部です。

Manos Fergadiotis 代表 AUEBの自然言語処理グループ