Sec Bert Shape

🚀 SEC-BERT

SEC-BERT是一系列適用於金融領域的BERT模型，旨在助力金融自然語言處理（NLP）研究和金融科技（FinTech）應用。

🚀 快速開始

SEC-BERT由以下模型組成：

• SEC-BERT-BASE：與BERT-BASE架構相同，在金融文檔上進行訓練。
• SEC-BERT-NUM：與SEC-BERT-BASE相同，但將每個數字標記替換為[NUM]偽標記，以統一方式處理所有數字表達式，避免其碎片化。
• SEC-BERT-SHAPE（本模型）：與SEC-BERT-BASE相同，但將數字替換為表示數字形狀的偽標記，因此（已知形狀的）數字表達式不再碎片化，例如，'53.2'變為'[XX.X]'，'40,200.5'變為'[XX,XXX.X]'。

✨ 主要特性

預訓練語料庫

該模型在1993 - 2019年的260,773份10 - K文件上進行了預訓練，這些文件可在美國證券交易委員會（SEC）公開獲取。

預訓練詳情

• 我們通過在預訓練語料庫上從頭開始訓練BertWordPieceTokenizer，創建了一個包含30,000個子詞的新詞彙表。
• 我們使用Google BERT的GitHub倉庫中提供的官方代碼來訓練BERT。
• 然後，我們使用Hugging Face的Transformers轉換腳本，將TF檢查點轉換為所需格式，以便PyTorch和TF2用戶能夠用兩行代碼加載模型。
• 我們發佈了一個與英文BERT - BASE模型類似的模型（12層、768隱藏層、12頭、1.1億參數）。
• 我們選擇遵循相同的訓練設置：進行100萬步訓練，批次大小為256個長度為512的序列，初始學習率為1e - 4。
• 我們能夠使用由TensorFlow研究雲（TRC）免費提供的單個Google Cloud TPU v3 - 8，同時還利用了GCP研究信用額度。非常感謝這兩個Google項目對我們的支持！

📦 安裝指南

加載預訓練模型

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-shape")
model = AutoModel.from_pretrained("nlpaueb/sec-bert-shape")

💻 使用示例

基礎用法

預處理文本

import re
import spacy
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-shape")
spacy_tokenizer = spacy.load("en_core_web_sm")

sentence = "Total net sales decreased 2% or $5.4 billion during 2019 compared to 2018."

def sec_bert_shape_preprocess(text):
    tokens = [t.text for t in spacy_tokenizer(sentence)]

    processed_text = []
    for token in tokens:
        if re.fullmatch(r"(\d+[\d,.]*)|([,.]\d+)", token):
            shape = '[' + re.sub(r'\d', 'X', token) + ']'
            if shape in tokenizer.additional_special_tokens:
                processed_text.append(shape)
            else:
                processed_text.append('[NUM]')
        else:
            processed_text.append(token)
            
    return ' '.join(processed_text)
        
tokenized_sentence = tokenizer.tokenize(sec_bert_shape_preprocess(sentence))
print(tokenized_sentence)
"""
['total', 'net', 'sales', 'decreased', '[X]', '%', 'or', '$', '[X.X]', 'billion', 'during', '[XXXX]', 'compared', 'to', '[XXXX]', '.']
"""

使用SEC - BERT變體作為語言模型

📚 詳細文檔

引用說明

如果您使用此模型，請引用以下文章： FiNER: Financial Numeric Entity Recognition for XBRL Tagging Lefteris Loukas, Manos Fergadiotis, Ilias Chalkidis, Eirini Spyropoulou, Prodromos Malakasiotis, Ion Androutsopoulos and George Paliouras 收錄於第60屆計算語言學協會年會（ACL 2022）論文集（長論文），愛爾蘭共和國都柏林，2022年5月22 - 27日

@inproceedings{loukas-etal-2022-finer,
    title = {FiNER: Financial Numeric Entity Recognition for XBRL Tagging},
    author = {Loukas, Lefteris and
      Fergadiotis, Manos and
      Chalkidis, Ilias and
      Spyropoulou, Eirini and
      Malakasiotis, Prodromos and
      Androutsopoulos, Ion and
      Paliouras George},
    booktitle = {Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022)},
    publisher = {Association for Computational Linguistics},
    location = {Dublin, Republic of Ireland},
    year = {2022},
    url = {https://arxiv.org/abs/2203.06482}
}

關於我們

雅典經濟與商業大學自然語言處理小組致力於開發讓計算機處理和生成自然語言文本的算法、模型和系統。

該小組目前的研究興趣包括：

• 面向數據庫、本體、文檔集合和網絡的問答系統，特別是生物醫學問答系統；
• 從數據庫和本體（特別是語義網絡本體）進行自然語言生成；
• 文本分類，包括過濾垃圾郵件和濫用內容；
• 信息提取和觀點挖掘，包括法律文本分析和情感分析；
• 希臘語自然語言處理工具，例如解析器和命名實體識別器；
• 自然語言處理中的機器學習，特別是深度學習。

該小組隸屬於雅典經濟與商業大學信息學系信息處理實驗室。

Manos Fergadiotis 代表 雅典經濟與商業大學自然語言處理小組

📄 許可證

本項目採用CC - BY - SA 4.0許可證。