Rubert Tiny Sentiment Balanced

🚀 [cointegrated/rubert-tiny-sentiment-balanced]

このモデルは、cointegrated/rubert-tiny をベースに、短いロシア語テキストの感情分類のためにファインチューニングされたものです。問題は、negative（否定的）、neutral（中立的）、positive（肯定的）の多クラス分類として定式化されています。

🚀 クイックスタート

このモデルは、短いロシア語テキストの感情分類に使用できます。以下のセクションでは、使用方法とトレーニングの詳細を説明します。

💻 使用例

基本的な使用法

以下の関数は、与えられたテキストの感情を推定します。

# !pip install transformers sentencepiece --quiet
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_checkpoint = 'cointegrated/rubert-tiny-sentiment-balanced'
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
if torch.cuda.is_available():
    model.cuda()
    
def get_sentiment(text, return_type='label'):
    """ Calculate sentiment of a text. `return_type` can be 'label', 'score' or 'proba' """
    with torch.no_grad():
        inputs = tokenizer(text, return_tensors='pt', truncation=True, padding=True).to(model.device)
        proba = torch.sigmoid(model(**inputs).logits).cpu().numpy()[0]
    if return_type == 'label':
        return model.config.id2label[proba.argmax()]
    elif return_type == 'score':
        return proba.dot([-1, 0, 1])
    return proba

text = 'Какая гадость эта ваша заливная рыба!'
# classify the text
print(get_sentiment(text, 'label'))  # negative
# score the text on the scale from -1 (very negative) to +1 (very positive)
print(get_sentiment(text, 'score'))  # -0.5894946306943893
# calculate probabilities of all labels
print(get_sentiment(text, 'proba'))  # [0.7870447  0.4947824  0.19755007]

🔧 技術詳細

トレーニング

このモデルは、Smetaninによって収集されたデータセット を使用してトレーニングされました。すべてのトレーニングデータを3クラス形式に変換し、ソースとクラスのバランスを取るためにアップサンプリングとダウンサンプリングを行いました。トレーニングコードは Colabノートブック として利用可能です。バランスの取れたテストセットでのメトリクスは以下の通りです。