Finbert PT BR

🚀 FinBERT-PT-BR：巴西葡萄牙語金融BERT模型

FinBERT-PT-BR是一個預訓練的自然語言處理（NLP）模型，用於分析巴西葡萄牙語金融文本的情感傾向。該模型通過兩個主要階段進行訓練：語言建模和情感建模。在第一階段，使用超過140萬篇葡萄牙語金融新聞文本訓練語言模型。基於這一階段的訓練成果，僅使用少量標註文本（500篇）就成功構建了一個情感分類器，並且取得了令人滿意的收斂效果。

在研究工作的最後，對該模型與其他模型進行了對比分析，並探討了該模型的潛在應用場景。對比分析結果顯示，該模型在性能上優於當前最先進的模型。在應用方面，該模型可用於構建情感指數、制定投資策略以及進行宏觀經濟數據分析，如通貨膨脹分析等。

🚀 快速開始

FinBERT-PT-BR是一款專門用於分析巴西葡萄牙語金融文本情感的預訓練NLP模型。它經過語言建模和情感建模兩個主要階段的訓練，展現出了卓越的性能。

✨ 主要特性

• 針對性訓練：使用超過140萬篇葡萄牙語金融新聞文本進行語言模型訓練，確保對金融領域語言的深度理解。
• 高效情感分類：僅用500篇標註文本就能構建出表現出色的情感分類器。
• 性能卓越：在對比分析中，表現優於當前最先進的模型。
• 廣泛應用：可用於構建情感指數、制定投資策略和宏觀經濟數據分析。

📦 安裝指南

暫未提供安裝步驟，可參考transformers庫的安裝方法來使用此模型。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, BertForSequenceClassification
import numpy as np
  
pred_mapper = {
    0: "POSITIVE",
    1: "NEGATIVE",
    2: "NEUTRAL"
  }

tokenizer = AutoTokenizer.from_pretrained("lucas-leme/FinBERT-PT-BR")
finbertptbr = BertForSequenceClassification.from_pretrained("lucas-leme/FinBERT-PT-BR")

tokens = tokenizer(["Hoje a bolsa caiu", "Hoje a bolsa subiu"], return_tensors="pt",
                    padding=True, truncation=True, max_length=512)
finbertptbr_outputs = finbertptbr(**tokens)

preds = [pred_mapper[np.argmax(pred)] for pred in finbertptbr_outputs.logits.cpu().detach().numpy()]

高級用法

from transformers import (
    AutoTokenizer, 
    BertForSequenceClassification,
    pipeline,
)

finbert_pt_br_tokenizer = AutoTokenizer.from_pretrained("lucas-leme/FinBERT-PT-BR")
finbert_pt_br_model = BertForSequenceClassification.from_pretrained("lucas-leme/FinBERT-PT-BR")

finbert_pt_br_pipeline = pipeline(task='text-classification', model=finbert_pt_br_model, tokenizer=finbert_pt_br_tokenizer)
finbert_pt_br_pipeline(['Hoje a bolsa caiu', 'Hoje a bolsa subiu'])

📚 詳細文檔

應用場景

情感指數

🔧 技術細節

該模型的訓練分為兩個主要階段：語言建模和情感建模。在語言建模階段，使用超過140萬篇葡萄牙語金融新聞文本訓練語言模型。基於這個預訓練的語言模型，僅使用500篇標註文本就構建了情感分類器，並且取得了良好的收斂效果。在對比分析中，該模型的性能優於當前最先進的模型。

📄 許可證

本項目採用Apache-2.0許可證。

引用

@inproceedings{santos2023finbert,
  title={FinBERT-PT-BR: An{\'a}lise de Sentimentos de Textos em Portugu{\^e}s do Mercado Financeiro},
  author={Santos, Lucas L and Bianchi, Reinaldo AC and Costa, Anna HR},
  booktitle={Anais do II Brazilian Workshop on Artificial Intelligence in Finance},
  pages={144--155},
  year={2023},
  organization={SBC}
}

相關論文

• FinBERT-PT-BR: Sentiment Analysis of Texts in Portuguese from the Financial Market
• FinBERT-PT-BR: Análise de sentimentos de textos em português referentes ao mercado financeiro

作者

• Lucas Leme - lucaslssantos99@gmail.com