Rubert Tiny Sentiment Balanced

🚀 微調版俄語短文本情感分類模型

這是基於 cointegrated/rubert-tiny 模型微調得到的，用於對俄語短文本進行情感分類。該問題被定義為多類別分類問題，即區分 消極、中性 和 積極 三種情感。

🚀 快速開始

✨ 主要特性

• 基於預訓練的 cointegrated/rubert-tiny 模型進行微調，適用於俄語短文本的情感分類。
• 以多類別分類的方式，明確區分消極、中性和積極三種情感。

📦 安裝指南

在運行代碼之前，需要安裝必要的庫：

!pip install transformers sentencepiece --quiet

💻 使用示例

基礎用法

以下函數可用於評估給定文本的情感：

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_checkpoint = 'cointegrated/rubert-tiny-sentiment-balanced'
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
if torch.cuda.is_available():
    model.cuda()
    
def get_sentiment(text, return_type='label'):
    """ Calculate sentiment of a text. `return_type` can be 'label', 'score' or 'proba' """
    with torch.no_grad():
        inputs = tokenizer(text, return_tensors='pt', truncation=True, padding=True).to(model.device)
        proba = torch.sigmoid(model(**inputs).logits).cpu().numpy()[0]
    if return_type == 'label':
        return model.config.id2label[proba.argmax()]
    elif return_type == 'score':
        return proba.dot([-1, 0, 1])
    return proba

text = 'Какая гадость эта ваша заливная рыба!'
# classify the text
print(get_sentiment(text, 'label'))  # negative
# score the text on the scale from -1 (very negative) to +1 (very positive)
print(get_sentiment(text, 'score'))  # -0.5894946306943893
# calculate probabilities of all labels
print(get_sentiment(text, 'proba'))  # [0.7870447  0.4947824  0.19755007]

高級用法

上述代碼已經涵蓋了主要的使用場景，通過修改 return_type 參數，可以獲取不同形式的情感分析結果。

📚 詳細文檔

訓練信息

我們在 Smetanin 收集的數據集 上對模型進行了訓練。我們將所有訓練數據轉換為 3 類別格式，並對訓練數據進行了上採樣和下采樣，以平衡數據源和類別。訓練代碼可在 Colab 筆記本 中找到。在平衡測試集上的評估指標如下：