Roberta Base Go Emotions

🚀 ロベルタベースの感情分析モデル

このモデルは、go_emotions データセットを用いて、roberta-base から多ラベル分類のために学習されました。ONNX形式のバージョンも利用可能で、推論速度やメモリ使用量の最適化が期待できます。

✨ 主な機能

• 多ラベル分類: 入力テキストに対して複数の感情ラベルを予測します。
• ONNX形式対応: 推論速度の向上とメモリ使用量の削減が可能です。
• 高い精度: データセットに基づく評価で良好な結果を示しています。

📦 インストール

本READMEにはインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import pipeline

classifier = pipeline(task="text-classification", model="SamLowe/roberta-base-go_emotions", top_k=None)

sentences = ["I am not having a great day"]

model_outputs = classifier(sentences)
print(model_outputs[0])
# produces a list of dicts for each of the labels

📚 ドキュメント

概要

このモデルは、roberta-base を go_emotions データセットで多ラベル分類のために学習したものです。ONNX形式のバージョン（INT8量子化ONNXバージョンも含む）は、https://huggingface.co/SamLowe/roberta-base-go_emotions-onnx で入手可能です。これらのバージョンは推論が高速で、特に小さなバッチサイズでの性能が良く、推論に必要な依存関係のサイズを大幅に削減し、モデルの推論をより多プラットフォームで可能にします。量子化バージョンの場合は、推論のみが必要な場合、モデルファイル/ダウンロードサイズを75%削減しながら、ほぼすべての精度を維持します。

モデルに使用されたデータセット

go_emotions はRedditデータに基づいており、28のラベルを持っています。これは多ラベルデータセットで、任意の入力テキストに対して1つまたは複数のラベルが適用される可能性があります。したがって、このモデルは多ラベル分類モデルで、任意の入力テキストに対して28の「確率」浮動小数点出力を生成します。通常、各ラベルの予測には0.5の閾値が確率に適用されます。

モデルの作成方法

モデルは、AutoModelForSequenceClassification.from_pretrained を使用して、problem_type="multi_label_classification" で3エポック、学習率2e-5、重み減衰0.01で学習されました。

推論

Huggingface Transformersでこのモデルを使用する方法は複数あります。おそらく最も簡単なのはパイプラインを使用することです。

評価 / メトリクス

モデルの評価は以下の場所で利用可能です。

• https://github.com/samlowe/go_emotions-dataset/blob/main/eval-roberta-base-go_emotions.ipynb

概要

上記のノートブックで提供されているように、データセットのテスト分割を使用して多ラベル出力（各ラベルを2値化するために0.5の閾値を適用した28次元出力）を評価すると、以下の結果が得られます。

• 正解率: 0.474
• 適合率: 0.575
• 再現率: 0.396
• F1値: 0.450

ただし、多ラベルの性質（各ラベルは実質的に独立した2値分類）と、データセット内のラベルの表現が大きく異なることを考慮すると、各ラベルごとにメトリクスを測定する方が意味があります。

0.5の閾値を適用してモデル出力を2値化した場合、上記のノートブックに従って、各ラベルのメトリクスは以下の通りです。

各ラベルの閾値を最適なF1メトリクスを与えるものに最適化すると、若干良いメトリクスが得られます。適合率を少し犠牲にして再現率を大幅に向上させることで、F1に有利な結果が得られます（この方法は上記のノートブックに示されています）。

これにより、全体的なメトリクスが改善されます。

• 適合率: 0.542
• 再現率: 0.577
• F1値: 0.541

また、各ラベルのサポートの相対的なサイズで重み付けして計算すると、以下のようになります。

• 適合率: 0.572
• 再現率: 0.677
• F1値: 0.611

データセットに関するコメント

一部のラベル（例えば、gratitude）は独立して考えた場合、F1が0.9を超える非常に高い性能を示しますが、他のラベル（例えば、relief）は非常に低い性能を示します。

これは挑戦的なデータセットです。reliefのようなラベルは、学習データに非常に少ない例しかありません（4万件以上のうち100件未満で、テスト分割ではわずか11件）。

しかし、go_emotionsの学習データには、性能を制約すると考えられるいくつかの曖昧さや/またはラベリングエラーも見られます。データセットのデータクリーニングを行い、ラベリングの誤り、曖昧さ、矛盾、重複を減らすことで、より高性能なモデルが得られるでしょう。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。