Sec Bert Shape

🚀 SEC-BERT

SEC-BERT是一系列适用于金融领域的BERT模型，旨在助力金融自然语言处理（NLP）研究和金融科技（FinTech）应用。

🚀 快速开始

SEC-BERT由以下模型组成：

• SEC-BERT-BASE：与BERT-BASE架构相同，在金融文档上进行训练。
• SEC-BERT-NUM：与SEC-BERT-BASE相同，但将每个数字标记替换为[NUM]伪标记，以统一方式处理所有数字表达式，避免其碎片化。
• SEC-BERT-SHAPE（本模型）：与SEC-BERT-BASE相同，但将数字替换为表示数字形状的伪标记，因此（已知形状的）数字表达式不再碎片化，例如，'53.2'变为'[XX.X]'，'40,200.5'变为'[XX,XXX.X]'。

✨ 主要特性

预训练语料库

该模型在1993 - 2019年的260,773份10 - K文件上进行了预训练，这些文件可在美国证券交易委员会（SEC）公开获取。

预训练详情

• 我们通过在预训练语料库上从头开始训练BertWordPieceTokenizer，创建了一个包含30,000个子词的新词汇表。
• 我们使用Google BERT的GitHub仓库中提供的官方代码来训练BERT。
• 然后，我们使用Hugging Face的Transformers转换脚本，将TF检查点转换为所需格式，以便PyTorch和TF2用户能够用两行代码加载模型。
• 我们发布了一个与英文BERT - BASE模型类似的模型（12层、768隐藏层、12头、1.1亿参数）。
• 我们选择遵循相同的训练设置：进行100万步训练，批次大小为256个长度为512的序列，初始学习率为1e - 4。
• 我们能够使用由TensorFlow研究云（TRC）免费提供的单个Google Cloud TPU v3 - 8，同时还利用了GCP研究信用额度。非常感谢这两个Google项目对我们的支持！

📦 安装指南

加载预训练模型

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-shape")
model = AutoModel.from_pretrained("nlpaueb/sec-bert-shape")

💻 使用示例

基础用法

预处理文本

import re
import spacy
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-shape")
spacy_tokenizer = spacy.load("en_core_web_sm")

sentence = "Total net sales decreased 2% or $5.4 billion during 2019 compared to 2018."

def sec_bert_shape_preprocess(text):
    tokens = [t.text for t in spacy_tokenizer(sentence)]

    processed_text = []
    for token in tokens:
        if re.fullmatch(r"(\d+[\d,.]*)|([,.]\d+)", token):
            shape = '[' + re.sub(r'\d', 'X', token) + ']'
            if shape in tokenizer.additional_special_tokens:
                processed_text.append(shape)
            else:
                processed_text.append('[NUM]')
        else:
            processed_text.append(token)
            
    return ' '.join(processed_text)
        
tokenized_sentence = tokenizer.tokenize(sec_bert_shape_preprocess(sentence))
print(tokenized_sentence)
"""
['total', 'net', 'sales', 'decreased', '[X]', '%', 'or', '$', '[X.X]', 'billion', 'during', '[XXXX]', 'compared', 'to', '[XXXX]', '.']
"""

使用SEC - BERT变体作为语言模型

📚 详细文档

引用说明

如果您使用此模型，请引用以下文章： FiNER: Financial Numeric Entity Recognition for XBRL Tagging Lefteris Loukas, Manos Fergadiotis, Ilias Chalkidis, Eirini Spyropoulou, Prodromos Malakasiotis, Ion Androutsopoulos and George Paliouras 收录于第60届计算语言学协会年会（ACL 2022）论文集（长论文），爱尔兰共和国都柏林，2022年5月22 - 27日

@inproceedings{loukas-etal-2022-finer,
    title = {FiNER: Financial Numeric Entity Recognition for XBRL Tagging},
    author = {Loukas, Lefteris and
      Fergadiotis, Manos and
      Chalkidis, Ilias and
      Spyropoulou, Eirini and
      Malakasiotis, Prodromos and
      Androutsopoulos, Ion and
      Paliouras George},
    booktitle = {Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022)},
    publisher = {Association for Computational Linguistics},
    location = {Dublin, Republic of Ireland},
    year = {2022},
    url = {https://arxiv.org/abs/2203.06482}
}

关于我们

雅典经济与商业大学自然语言处理小组致力于开发让计算机处理和生成自然语言文本的算法、模型和系统。

该小组目前的研究兴趣包括：

• 面向数据库、本体、文档集合和网络的问答系统，特别是生物医学问答系统；
• 从数据库和本体（特别是语义网络本体）进行自然语言生成；
• 文本分类，包括过滤垃圾邮件和滥用内容；
• 信息提取和观点挖掘，包括法律文本分析和情感分析；
• 希腊语自然语言处理工具，例如解析器和命名实体识别器；
• 自然语言处理中的机器学习，特别是深度学习。

该小组隶属于雅典经济与商业大学信息学系信息处理实验室。

Manos Fergadiotis 代表 雅典经济与商业大学自然语言处理小组

📄 许可证

本项目采用CC - BY - SA 4.0许可证。