🚀 SiEBERT - 英語の感情分析分類
このモデル("SiEBERT"、"Sentiment in English" の頭字語)は、RoBERTa-large (Liu et al. 2019)をファインチューニングしたチェックポイントです。様々な英語テキストに対して信頼性の高い二値感情分析を可能にします。各インスタンスに対して、肯定的(1)または否定的(0)の感情を予測します。このモデルは、様々なテキストソースからの15のデータセットでファインチューニングおよび評価され、異なるタイプのテキスト(レビュー、ツイートなど)に対する汎化能力を向上させています。その結果、以下に示すように、新しいデータに対して、単一のタイプのテキスト(例えば、人気のあるSST - 2ベンチマークの映画レビュー)でのみ学習されたモデルを上回る性能を発揮します。
🚀 クイックスタート
独自データでの感情予測
独自のデータに対する感情分析を行いたい場合は、Google Colab を通じてサンプルスクリプトを提供しています。データをGoogle Driveにアップロードし、ColabのGPUを無料で使用してスクリプトを実行できます。セットアップには数分しかかかりません。また、ユースケースに対するモデルの性能を評価するために、データの一部を手動でラベル付けすることをおすすめします。様々な感情分析コンテキストにおける性能ベンチマーク値については、当社の論文(Hartmann et al. 2023)を参照してください。

Hugging Faceパイプラインでの使用
単一の予測にこのモデルを使用する最も簡単な方法は、Hugging Faceの 感情分析パイプライン を使用することです。以下の例のように、数行のコードで実行できます。
from transformers import pipeline
sentiment_analysis = pipeline("sentiment-analysis",model="siebert/sentiment-roberta-large-english")
print(sentiment_analysis("I love this!"))

さらなるファインチューニング
このモデルは、特定のデータに対してRoBERTaをさらにファインチューニングする際の起点としても使用できます。詳細とサンプルコードについては、Hugging Faceの ドキュメント を参照してください。
✨ 主な機能
- 様々な英語テキストに対する二値感情分析を可能にする。
- 15のデータセットでファインチューニングされ、汎化能力が高い。
- 単一のデータセットで学習されたモデルを上回る性能を発揮する。
📚 ドキュメント
性能評価
汎用感情分析モデルの性能を評価するために、各データセットから評価セットを取り分け、学習には使用しませんでした。平均すると、このモデルは DistilBERTベースのモデル (人気のあるSST - 2データセットでのみファインチューニングされたもの)を15パーセンテージポイント以上上回っています(78.1%対93.2%、下記の表を参照)。ロバスト性チェックとして、モデルをleave - one - out方式で評価しました(14のデータセットで学習し、残りの1つで評価)。これにより、モデルの性能は平均して約3パーセンテージポイントしか低下せず、その汎化能力を裏付けています。モデルの性能は、評価セットの正解率(%)で示されています。
データセット |
DistilBERT SST - 2 |
このモデル |
McAuley and Leskovec (2013) (レビュー) |
84.7 |
98.0 |
McAuley and Leskovec (2013) (レビュータイトル) |
65.5 |
87.0 |
Yelp Academic Dataset |
84.8 |
96.5 |
Maas et al. (2011) |
80.6 |
96.0 |
Kaggle |
87.2 |
96.0 |
Pang and Lee (2005) |
89.7 |
91.0 |
Nakov et al. (2013) |
70.1 |
88.5 |
Shamma (2009) |
76.0 |
87.0 |
Blitzer et al. (2007) (書籍) |
83.0 |
92.5 |
Blitzer et al. (2007) (DVD) |
84.5 |
92.5 |
Blitzer et al. (2007) (電子機器) |
74.5 |
95.0 |
Blitzer et al. (2007) (キッチン機器) |
80.0 |
98.5 |
Pang et al. (2002) |
73.5 |
95.5 |
Speriosu et al. (2011) |
71.5 |
85.5 |
Hartmann et al. (2019) |
65.5 |
98.0 |
平均 |
78.1 |
93.2 |
ファインチューニングのハイパーパラメータ
- learning_rate = 2e - 5
- num_train_epochs = 3.0
- warmump_steps = 500
- weight_decay = 0.01
その他の値は、こちら に記載されているデフォルト値のままです。
📄 ライセンス
このモデルを使用する際は、この論文 (IJRM に掲載)を引用してください。ご質問やフィードバックがあれば、[christian.siebert@uni - hamburg.de](mailto:christian.siebert@uni - hamburg.de) までお気軽にご連絡ください。
@article{hartmann2023,
title = {More than a Feeling: Accuracy and Application of Sentiment Analysis},
journal = {International Journal of Research in Marketing},
volume = {40},
number = {1},
pages = {75-87},
year = {2023},
doi = {https://doi.org/10.1016/j.ijresmar.2022.05.005},
url = {https://www.sciencedirect.com/science/article/pii/S0167811622000477},
author = {Jochen Hartmann and Mark Heitmann and Christian Siebert and Christina Schamp},
}