FLANG BERT

🚀 FLANG - 金融語言建模項目

FLANG 是一套用於金融語言任務的大型語言模型，通過特定領域的預訓練和優先掩碼技術，為金融領域構建更強大的表徵，有效提升金融文本處理能力。

🚀 快速開始

你可以通過以下鏈接訪問項目相關資源：

• 主頁：https://salt-nlp.github.io/FLANG/
• 模型：https://huggingface.co/SALT-NLP/FLANG-BERT
• 代碼倉庫：https://github.com/SALT-NLP/FLANG

✨ 主要特性

FLANG 模型集

FLANG 包含一系列針對金融語言任務的大型語言模型，這些模型採用特定領域的預訓練和優先掩碼技術，為金融領域構建更強大的表徵。具體模型如下：

• FLANG-BERT
• FLANG-SpanBERT
• FLANG-DistilBERT
• FLANG-Roberta
• FLANG-ELECTRA

FLANG-BERT 模型

FLANG-BERT 是一個預訓練語言模型，它使用金融關鍵詞和短語對特定領域的術語進行優先掩碼。通過在金融領域進一步訓練 BERT 語言模型，由於利用了領域知識和詞彙，其性能優於之前的模型。

FLUE 基準測試

FLUE（金融語言理解評估）是一個綜合且異構的基準測試，由 5 個不同的金融領域特定數據集構建而成，涵蓋了多種金融自然語言處理任務：

• 情感分類：Financial PhraseBank
• 情感分析、問答：FiQA 2018
• 新聞標題分類：Headlines
• 命名實體識別：NER
• 結構邊界檢測：FinSBD3

📚 詳細文檔

引用信息

如果你使用該模型，請使用以下 BibTeX 引用：

@INPROCEEDINGS{shah-etal-2022-flang,
    author = {Shah, Raj Sanjay  and
      Chawla, Kunal and
      Eidnani, Dheeraj and
      Shah, Agam and
      Du, Wendi and
      Chava, Sudheer and
      Raman, Natraj and
      Smiley, Charese and
      Chen, Jiaao and
      Yang, Diyi },
    title = {When FLUE Meets FLANG: Benchmarks and Large Pretrained Language Model for Financial Domain},
    booktitle = {Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP)},
    year = {2022},
    publisher = {Association for Computational Linguistics}
}

聯繫信息

如果你有任何與 FLANG-BERT 相關的問題，請聯繫：

• Raj Sanjay Shah (rajsanjayshah[at]gatech[dot]edu)
• Sudheer Chava (schava6[at]gatech[dot]edu)
• Diyi Yang (diyiy[at]stanford[dot]edu)

📄 許可證

本項目採用 AFL-3.0 許可證。