Finbert PT BR

🚀 FinBERT-PT-BR：巴西葡萄牙语金融BERT模型

FinBERT-PT-BR是一个预训练的自然语言处理（NLP）模型，用于分析巴西葡萄牙语金融文本的情感倾向。该模型通过两个主要阶段进行训练：语言建模和情感建模。在第一阶段，使用超过140万篇葡萄牙语金融新闻文本训练语言模型。基于这一阶段的训练成果，仅使用少量标注文本（500篇）就成功构建了一个情感分类器，并且取得了令人满意的收敛效果。

在研究工作的最后，对该模型与其他模型进行了对比分析，并探讨了该模型的潜在应用场景。对比分析结果显示，该模型在性能上优于当前最先进的模型。在应用方面，该模型可用于构建情感指数、制定投资策略以及进行宏观经济数据分析，如通货膨胀分析等。

🚀 快速开始

FinBERT-PT-BR是一款专门用于分析巴西葡萄牙语金融文本情感的预训练NLP模型。它经过语言建模和情感建模两个主要阶段的训练，展现出了卓越的性能。

✨ 主要特性

• 针对性训练：使用超过140万篇葡萄牙语金融新闻文本进行语言模型训练，确保对金融领域语言的深度理解。
• 高效情感分类：仅用500篇标注文本就能构建出表现出色的情感分类器。
• 性能卓越：在对比分析中，表现优于当前最先进的模型。
• 广泛应用：可用于构建情感指数、制定投资策略和宏观经济数据分析。

📦 安装指南

暂未提供安装步骤，可参考transformers库的安装方法来使用此模型。

💻 使用示例

基础用法

from transformers import AutoTokenizer, BertForSequenceClassification
import numpy as np
  
pred_mapper = {
    0: "POSITIVE",
    1: "NEGATIVE",
    2: "NEUTRAL"
  }

tokenizer = AutoTokenizer.from_pretrained("lucas-leme/FinBERT-PT-BR")
finbertptbr = BertForSequenceClassification.from_pretrained("lucas-leme/FinBERT-PT-BR")

tokens = tokenizer(["Hoje a bolsa caiu", "Hoje a bolsa subiu"], return_tensors="pt",
                    padding=True, truncation=True, max_length=512)
finbertptbr_outputs = finbertptbr(**tokens)

preds = [pred_mapper[np.argmax(pred)] for pred in finbertptbr_outputs.logits.cpu().detach().numpy()]

高级用法

from transformers import (
    AutoTokenizer, 
    BertForSequenceClassification,
    pipeline,
)

finbert_pt_br_tokenizer = AutoTokenizer.from_pretrained("lucas-leme/FinBERT-PT-BR")
finbert_pt_br_model = BertForSequenceClassification.from_pretrained("lucas-leme/FinBERT-PT-BR")

finbert_pt_br_pipeline = pipeline(task='text-classification', model=finbert_pt_br_model, tokenizer=finbert_pt_br_tokenizer)
finbert_pt_br_pipeline(['Hoje a bolsa caiu', 'Hoje a bolsa subiu'])

📚 详细文档

应用场景

情感指数

🔧 技术细节

该模型的训练分为两个主要阶段：语言建模和情感建模。在语言建模阶段，使用超过140万篇葡萄牙语金融新闻文本训练语言模型。基于这个预训练的语言模型，仅使用500篇标注文本就构建了情感分类器，并且取得了良好的收敛效果。在对比分析中，该模型的性能优于当前最先进的模型。

📄 许可证

本项目采用Apache-2.0许可证。

引用

@inproceedings{santos2023finbert,
  title={FinBERT-PT-BR: An{\'a}lise de Sentimentos de Textos em Portugu{\^e}s do Mercado Financeiro},
  author={Santos, Lucas L and Bianchi, Reinaldo AC and Costa, Anna HR},
  booktitle={Anais do II Brazilian Workshop on Artificial Intelligence in Finance},
  pages={144--155},
  year={2023},
  organization={SBC}
}

相关论文

• FinBERT-PT-BR: Sentiment Analysis of Texts in Portuguese from the Financial Market
• FinBERT-PT-BR: Análise de sentimentos de textos em português referentes ao mercado financeiro

作者

• Lucas Leme - lucaslssantos99@gmail.com