Distilbert Base Uncased Emotion

🚀 Distilbert-base-uncased-emotion

このモデルは、感情分析のために微調整されたDistilbertモデルです。DistilbertはBERTモデルを知識蒸留で縮小したもので、高速かつ軽量です。

🚀 クイックスタート

このモデルは、テキストの感情分析に使用できます。以下のコードを使って、簡単に予測を行うことができます。

from transformers import pipeline
classifier = pipeline("text-classification",model='bhadresh-savani/distilbert-base-uncased-emotion', return_all_scores=True)
prediction = classifier("I love using transformers. The best part is wide range of support and its easy to use", )
print(prediction)

"""
Output:
[[
{'label': 'sadness', 'score': 0.0006792712374590337}, 
{'label': 'joy', 'score': 0.9959300756454468}, 
{'label': 'love', 'score': 0.0009452480007894337}, 
{'label': 'anger', 'score': 0.0018055217806249857}, 
{'label': 'fear', 'score': 0.00041110432357527316}, 
{'label': 'surprise', 'score': 0.0002288572577526793}
]]
"""

✨ 主な機能

• 高速かつ軽量：Distilbertは知識蒸留によりBERTモデルを40%縮小し、97%の言語理解能力を維持しています。
• 高精度：感情データセットで微調整されており、高い精度で感情分析を行うことができます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline
classifier = pipeline("text-classification",model='bhadresh-savani/distilbert-base-uncased-emotion', return_all_scores=True)
prediction = classifier("I love using transformers. The best part is wide range of support and its easy to use", )
print(prediction)

📚 ドキュメント

モデルの説明

Distilbertは、事前学習段階で知識蒸留を行うことで作成され、BERTモデルのサイズを40%削減しながら、97%の言語理解能力を維持しています。Bertや他のBertベースのモデルよりも小さく、高速です。

Distilbert-base-uncasedは、以下のハイパーパラメータを使用して、HuggingFace Trainerを用いて感情データセットで微調整されています。

 learning rate 2e-5, 
 batch size 64,
 num_train_epochs=8,

モデルの性能比較

Twitterの感情データセットにおけるモデルの性能比較は以下の通りです。

データセット

Twitter-Sentiment-Analysis

学習手順

Colab Notebook

評価結果

{
'test_accuracy': 0.938,
 'test_f1': 0.937932884041714,
 'test_loss': 0.1472451239824295,
 'test_mem_cpu_alloc_delta': 0,
 'test_mem_cpu_peaked_delta': 0,
 'test_mem_gpu_alloc_delta': 0,
 'test_mem_gpu_peaked_delta': 163454464,
 'test_runtime': 5.0164,
 'test_samples_per_second': 398.69
 }

参考文献

• Natural Language Processing with Transformer By Lewis Tunstall, Leandro von Werra, Thomas Wolf

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。