FLANG BERT

🚀 FLANG - 金融言語モデリングのための大規模言語モデル

FLANGは、金融言語タスクに特化した大規模言語モデルのセットです。これらのモデルは、ドメイン固有の事前学習と優先的なマスキングを使用して、金融ドメインに対するより堅牢な表現を構築します。

🚀 クイックスタート

FLANGを使用するには、以下のリンクを参考にしてください。

• ホームページ: https://salt-nlp.github.io/FLANG/
• モデル: https://huggingface.co/SALT-NLP/FLANG-BERT
• リポジトリ: https://github.com/SALT-NLP/FLANG

✨ 主な機能

FLANG

FLANGは、金融言語タスク用の大規模言語モデルのセットです。これらのモデルは、ドメイン固有の事前学習と優先的なマスキングを使用して、金融ドメインに対するより堅牢な表現を構築します。セット内のモデルは以下の通りです。

• FLANG-BERT
• FLANG-SpanBERT
• FLANG-DistilBERT
• FLANG-Roberta
• FLANG-ELECTRA

FLANG-BERT

FLANG-BERTは、金融キーワードやフレーズを使用して、ドメイン固有の用語を優先的にマスキングする事前学習済み言語モデルです。これは、金融ドメインでBERT言語モデルをさらに学習させることで構築されており、ドメイン知識と語彙の使用により、以前のモデルよりも性能が向上しています。

FLUE

FLUE (Financial Language Understanding Evaluation) は、5つの異なる金融ドメイン固有のデータセットから構築された包括的かつ異種のベンチマークです。

• センチメント分類: Financial PhraseBank
• センチメント分析、質問応答: FiQA 2018
• ニュース見出し分類: Headlines
• 固有表現認識: NER
• 構造境界検出: FinSBD3

📚 ドキュメント

引用

モデルを引用する場合は、以下の引用を使用してください。

@INPROCEEDINGS{shah-etal-2022-flang,
    author = {Shah, Raj Sanjay  and
      Chawla, Kunal and
      Eidnani, Dheeraj and
      Shah, Agam and
      Du, Wendi and
      Chava, Sudheer and
      Raman, Natraj and
      Smiley, Charese and
      Chen, Jiaao and
      Yang, Diyi },
    title = {When FLUE Meets FLANG: Benchmarks and Large Pretrained Language Model for Financial Domain},
    booktitle = {Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP)},
    year = {2022},
    publisher = {Association for Computational Linguistics}
}

連絡先情報

FLANG-BERTに関する問題や質問については、Raj Sanjay Shah (rajsanjayshah[at]gatech[dot]edu) またはSudheer Chava (schava6[at]gatech[dot]edu) またはDiyi Yang (diyiy[at]stanford[dot]edu) に連絡してください。

📄 ライセンス

このプロジェクトは、AFL-3.0ライセンスの下で提供されています。