Sec Bert Base

🚀 SEC-BERT

SEC-BERT 是一系列面向金融领域的 BERT 模型，旨在助力金融自然语言处理研究和金融科技应用。

🚀 快速开始

SEC-BERT 由以下模型组成：

• SEC-BERT-BASE（本模型）：与 BERT-BASE 架构相同，在金融文档上进行训练。
• SEC-BERT-NUM：与 SEC-BERT-BASE 相同，但将每个数字标记替换为 [NUM] 伪标记，以统一方式处理所有数字表达式，避免其碎片化。
• SEC-BERT-SHAPE：与 SEC-BERT-BASE 相同，但将数字替换为表示数字形状的伪标记，因此（已知形状的）数字表达式不再碎片化，例如，'53.2' 变为 '[XX.X]'，'40,200.5' 变为 '[XX,XXX.X]'。

✨ 主要特性

SEC-BERT 专为金融领域设计，能够更好地处理金融文本中的专业术语和语义，为金融自然语言处理研究和金融科技应用提供有力支持。

📦 安装指南

加载预训练模型

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/sec-bert-base")
model = AutoModel.from_pretrained("nlpaueb/sec-bert-base")

📚 详细文档

预训练语料库

该模型在 1993 - 2019 年的 260,773 份 10 - K 报告上进行了预训练，这些报告可在 美国证券交易委员会（SEC） 公开获取。

预训练详情

• 我们通过在预训练语料库上从头开始训练 BertWordPieceTokenizer，创建了一个包含 30k 子词的新词汇表。
• 我们使用 Google BERT 的 GitHub 仓库 中提供的官方代码来训练 BERT。
• 然后，我们使用 Hugging Face 的 Transformers 转换脚本将 TF 检查点转换为所需格式，以便 PyTorch 和 TF2 用户都能在两行代码中加载模型。
• 我们发布了一个与英文 BERT - BASE 模型类似的模型（12 层、768 隐藏层、12 头、1.1 亿参数）。
• 我们选择遵循相同的训练设置：100 万次训练步骤，批次大小为 256 个长度为 512 的序列，初始学习率为 1e - 4。
• 我们能够使用由 TensorFlow 研究云（TRC） 免费提供的单个 Google Cloud TPU v3 - 8，同时还利用了 GCP 研究信用额度。非常感谢这两个 Google 项目对我们的支持！

使用 SEC-BERT 变体作为语言模型

示例 1

示例 2

示例 3

示例 4

示例 5

示例 6

示例 7

示例 8

示例 9

示例 10

示例 11

论文引用

如果您使用此模型，请引用以下文章： FiNER: Financial Numeric Entity Recognition for XBRL Tagging Lefteris Loukas, Manos Fergadiotis, Ilias Chalkidis, Eirini Spyropoulou, Prodromos Malakasiotis, Ion Androutsopoulos 和 George Paliouras 发表于第 60 届计算语言学协会年会（ACL 2022）（长论文），爱尔兰都柏林，2022 年 5 月 22 - 27 日

@inproceedings{loukas-etal-2022-finer,
    title = {FiNER: Financial Numeric Entity Recognition for XBRL Tagging},
    author = {Loukas, Lefteris and
      Fergadiotis, Manos and
      Chalkidis, Ilias and
      Spyropoulou, Eirini and
      Malakasiotis, Prodromos and
      Androutsopoulos, Ion and
      Paliouras George},
    booktitle = {Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022)},
    publisher = {Association for Computational Linguistics},
    location = {Dublin, Republic of Ireland},
    year = {2022},
    url = {https://arxiv.org/abs/2203.06482}
}

关于我们

雅典经济与商业大学自然语言处理小组 致力于开发让计算机处理和生成自然语言文本的算法、模型和系统。

该小组目前的研究兴趣包括：

• 用于数据库、本体、文档集合和网络的问答系统，特别是生物医学问答；
• 从数据库和本体，特别是语义网络本体中进行自然语言生成；
• 文本分类，包括过滤垃圾邮件和滥用内容；
• 信息提取和观点挖掘，包括法律文本分析和情感分析；
• 用于希腊语的自然语言处理工具，例如解析器和命名实体识别器；
• 自然语言处理中的机器学习，特别是深度学习。

该小组隶属于雅典经济与商业大学信息学系信息处理实验室。

Manos Fergadiotis 代表 雅典经济与商业大学自然语言处理小组

📄 许可证

本项目采用 CC - BY - SA 4.0 许可证。