Modernbert Large English Go Emotions

🚀 トランスフォーマーモデル

このモデルは、多ラベル分類のためにgo_emotionsデータセットでファインチューニングされたModernBERT-largeモデルです。英語のテキストからすべての感情を抽出したり、特定の感情を検出したりするために使用できます。閾値は、すべてのラベルに対するF1マクロを最大化することで検証セット上で選択されています。また、Flash Attention 2を使用すると推論を高速化できます。

モデルの品質はすべてのクラスにわたって大きく異なります（下のメトリクスの表を参照）。賞賛、喜び、楽観主義、恐怖、悔いなど、モデルが高い認識品質を示すクラスもあれば、モデルにとって難しいクラスもあります。例えば、失望や気付きなどは、学習データに含まれる例が非常に少ないためです。

🚀 クイックスタート

このモデルはHuggingface Transformersを使って簡単に利用できます。

ModernBERTアーキテクチャはTransformersバージョン4.48.0以降でサポートされているため、以下のコマンドでインストールする必要があります。

pip install "transformers>=4.48.0"

✨ 主な機能

• 英語のテキストから多ラベルの感情を抽出することができます。
• 特定の感情を検出することも可能です。
• Flash Attention 2を使用して推論を高速化できます。

📦 インストール

pip install "transformers>=4.48.0"

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained('fyaronskiy/ModernBERT-large-go-emotions')
model = AutoModelForSequenceClassification.from_pretrained('fyaronskiy/ModernBERT-large-go-emotions')
best_thresholds = [0.5510204081632653, 0.26530612244897955, 0.14285714285714285, 0.12244897959183673, 0.44897959183673464, 0.22448979591836732, 0.2040816326530612, 0.4081632653061224, 0.5306122448979591, 0.22448979591836732, 0.2857142857142857, 0.3061224489795918, 0.2040816326530612, 0.14285714285714285, 0.1020408163265306, 0.4693877551020408, 0.24489795918367346, 0.3061224489795918, 0.2040816326530612, 0.36734693877551017, 0.2857142857142857, 0.04081632653061224, 0.3061224489795918, 0.16326530612244897, 0.26530612244897955, 0.32653061224489793, 0.12244897959183673, 0.2040816326530612]
LABELS = ['admiration', 'amusement', 'anger', 'annoyance', 'approval', 'caring', 'confusion', 'curiosity', 'desire', 'disappointment', 'disapproval', 'disgust', 'embarrassment', 'excitement', 'fear', 'gratitude', 'grief', 'joy', 'love', 'nervousness', 'optimism', 'pride', 'realization', 'relief', 'remorse', 'sadness', 'surprise', 'neutral']
ID2LABEL = dict(enumerate(LABELS))

高度な使用法

テキストから感情を抽出する方法

def detect_emotions(text):
  inputs = tokenizer(text, truncation=True, add_special_tokens=True, max_length=128, return_tensors='pt')
  with torch.no_grad():
      logits = model(**inputs).logits
  probas = torch.sigmoid(logits).squeeze(dim=0)  
  class_binary_labels = (probas > torch.tensor(best_thresholds)).int()
  return [ID2LABEL[label_id] for label_id, value in enumerate(class_binary_labels) if value == 1]
print(detect_emotions('You have excellent service and the best coffee in the city, I love your coffee shop!'))
#['admiration', 'love']

すべての感情とそのスコアを取得する方法

def predict(text):
    inputs = tokenizer(text, truncation=True, add_special_tokens=True, max_length=128, return_tensors='pt')
    with torch.no_grad():
        logits = model(**inputs).logits
    probas = torch.sigmoid(logits).squeeze(dim=0).tolist()
    probas = [round(proba, 3) for proba in probas]    
    
    labels2probas = dict(zip(LABELS, probas))
    probas_dict_sorted = dict(sorted(labels2probas.items(), key=lambda x: x[1], reverse=True))
    return probas_dict_sorted
print(predict('You have excellent service and the best coffee in the city, I love your coffee shop!'))
#{'admiration': 0.982, 'love': 0.689, 'approval': 0.014, 'gratitude': 0.003, 'joy': 0.003, 'amusement': 0.001, 'curiosity': 0.001, 'excitement': 0.001, 'realization': 0.001, 'surprise': 0.001, 'anger': 0.0, 'annoyance': 0.0, 'caring': 0.0, 'confusion': 0.0, 'desire': 0.0, 'disappointment': 0.0, 'disapproval': 0.0, 'disgust': 0.0, 'embarrassment': 0.0, 'fear': 0.0, 'grief': 0.0, 'nervousness': 0.0, 'optimism': 0.0, 'pride': 0.0, 'relief': 0.0, 'remorse': 0.0, 'sadness': 0.0, 'neutral': 0.0}

📚 ドキュメント

go-emotionsのテスト分割における評価結果

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。