Chinese Sentiment Analysis Fund Direction

🚀 基金中文情感分析模型

本項目構建了一個基金方面的中文情感分析模型，利用約10w+的數據進行訓練，在驗證集上取得了較好的效果。該模型可用於判斷基金相關文本的情感傾向，如積極、消極或中性。

🚀 快速開始

環境準備

確保你已經安裝了torch和transformers庫。可以使用以下命令進行安裝：

pip install torch transformers

運行測試代碼

將以下代碼保存為一個Python文件（例如test.py），並在命令行中運行：

python test.py [要分析的文本]

測試代碼示例

import sys
import re
import torch
from transformers import BertTokenizer, BertForSequenceClassification
from torch.nn.functional import softmax

# 設定使用CPU或CUDA
device = 'cuda' if torch.cuda.is_available() else 'cpu'

# 載入預先保存的模型和分詞器
model = BertForSequenceClassification.from_pretrained('sanshizhang/Chinese-Sentiment-Analysis-Fund-Direction')
tokenizer = BertTokenizer.from_pretrained('sanshizhang/Chinese-Sentiment-Analysis-Fund-Direction')

# 確保模型在正確的設備上
model = model.to(device)
model.eval()  # 把模型設置為評估模式

# 函數定義：進行預測並返回預測概率
def predict_sentiment(text):
    # 編碼文本數據
    encoding = tokenizer.encode_plus(
        text,
        max_length=512,
        add_special_tokens=True,
        return_token_type_ids=False,
        padding='max_length',  # 修改此處
        return_attention_mask=True,
        return_tensors='pt',
        truncation=True
    )

    # 取出輸入對應的編碼
    input_ids = encoding['input_ids'].to(device)
    attention_mask = encoding['attention_mask'].to(device)

    # 不計算梯度
    with torch.no_grad():
        # 產生情感預測的logits
        outputs = model(input_ids=input_ids, attention_mask=attention_mask)

    # 使用softmax將logits轉換為概率
    probs = softmax(outputs.logits, dim=1)

    # 返回概率和預測的類別
    return probs, torch.argmax(probs, dim=1).cpu().numpy()[0]

# 從命令行參數獲取文本，合併並清理特殊字符
arguments = sys.argv[1:]  # 忽略腳本名稱
text = ' '.join(arguments)  # 合併為單一字符串
text = re.sub(r"[^\u4e00-\u9fff\d.a-zA-Z%+\-。！？，、；：（）【】《》“”‘’]", '', text)  # 去除特殊字符

# print(f"傳過來的文本是: {text}")
# 進行預測
probabilities, prediction = predict_sentiment(text)

sentiment_labels = {0: 'negative', 1: 'positive', 2: 'neutral'}

# 打印出預測的情感及其概率
predicted_sentiment = sentiment_labels[prediction]
print(f"Predicted sentiment: {predicted_sentiment},Probability:{probabilities[0][prediction].item()}")
# print(f"Probability: {probabilities[0][prediction].item()}")

✨ 主要特性

• 數據豐富：使用約10w+的數據進行訓練，保證模型有足夠的學習樣本。
• 效果良好：在驗證集上的準確度達到了0.9382193411826961。
• 功能明確：可準確判斷基金相關中文文本的情感傾向。

🔧 技術細節

本模型基於BertForSequenceClassification，使用BertTokenizer進行文本編碼。通過softmax函數將模型輸出的logits轉換為概率，從而進行情感分類。

📄 許可證

本項目採用Apache-2.0許可證。

驗證集指標

驗證集準確度

驗證集準確度為0.9382193411826961。

驗證集分類報告

返回值解釋

• 0: 'negative'（消極）
• 1: 'positive'（積極）
• 2: 'neutral'（中性）

注意事項

負面方面的文本經過專人處理，而中性文本的判斷可能不夠準確。