emo-mobilebertオープンソース感情認識モデル - EmoContextデータセット向けに設計された高精度な感情認識

ホーム

Emo Mobilebert

lordtt13によって開発

MobileBERTアーキテクチャに基づいて最適化された感情認識モデルで、EmoContextデータセット用に特別に設計されています。

テキスト分類

Transformers

英語#軽量級感情分析 #モバイル端最適化 #コンテキスト感情検出

ダウンロード数 2,476

リリース時間 : 3/2/2022

モデル概要

このモデルはBERT LARGEの簡略版で、感情認識タスクに特化して訓練されており、テキスト対話から4種類の感情カテゴリ（悲しみ、喜び、怒り、その他）を識別することができます。

モデル特徴

高効率で軽量

標準のBERT_BASEモデルより4.3倍小さく、速度は5.5倍速く、リソースが限られたデバイスに適しています。

特別な最適化

感情認識タスクに特化して訓練と最適化が行われています。

知識蒸留

特別に設計された教師モデルを使用して知識移行訓練を行っています。

モデル能力

テキスト感情分類

コンテキスト感情分析

対話感情認識

使用事例

ソーシャルメディア分析

ユーザー感情モニタリング

ソーシャルメディアの対話におけるユーザーの感情傾向を分析します。

喜び、悲しみ、怒りなどの基本的な感情を正確に識別することができます。

カスタマーサービスシステム

顧客の感情認識

顧客の対話における感情状態をリアルタイムで分析します。

カスタマーサービス担当者がネガティブな感情に迅速に対応するのに役立ちます。

🚀 Emo-MobileBERT: BERT LARGEの薄型バージョンで、EmoContextデータセットからゼロから学習

Emo-MobileBERTは、BERT LARGEの薄型バージョンで、EmoContextデータセットを使ってゼロから学習されたモデルです。このモデルは、リソースが限られたデバイスでも効率的に動作するように設計されています。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

モデルのロード

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline

tokenizer = AutoTokenizer.from_pretrained("lordtt13/emo-mobilebert")
model = AutoModelForSequenceClassification.from_pretrained("lordtt13/emo-mobilebert")
nlp_sentence_classif = pipeline('sentiment-analysis', model = model, tokenizer = tokenizer)

推論の実行

nlp_sentence_classif("I've never had such a bad day in my life")
# Output: [{'label': 'sad', 'score': 0.93153977394104}]

✨ 主な機能

MobileBERTの詳細

MobileBERTモデルは、Zhiqing Sun, Hongkun Yu, Xiaodan Song, Renjie Liu, Yiming Yang, Denny ZhouによるMobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devicesで発表されました。以下はその概要です。

自然言語処理（NLP）は、最近、数億のパラメータを持つ巨大な事前学習モデルを使用することで大きな成功を収めています。しかし、これらのモデルはモデルサイズが大きく、レイテンシーが高いため、リソースが限られたモバイルデバイスに展開することができません。この論文では、人気のあるBERTモデルを圧縮して高速化するためのMobileBERTを提案します。元のBERTと同様に、MobileBERTはタスク非依存型であり、簡単な微調整を通じて様々な下流のNLPタスクに一般的に適用できます。基本的に、MobileBERTはBERT_LARGEの薄型バージョンであり、ボトルネック構造と自己注意とフィードフォワードネットワークの間の注意深く設計されたバランスを備えています。MobileBERTを学習するために、まず特別に設計された教師モデルである、逆ボトルネックを組み込んだBERT_LARGEモデルを学習します。その後、この教師からMobileBERTへの知識転送を行います。実証的な研究によると、MobileBERTはBERT_BASEよりも4.3倍小さく、5.5倍高速であり、著名なベンチマークで競争力のある結果を達成しています。GLUEの自然言語推論タスクでは、MobileBERTはGLUEスコア77.7（BERT_BASEより0.6低い）を達成し、Pixel 4の携帯電話で62ミリ秒のレイテンシーを達成します。SQuAD v1.1/v2.0の質問応答タスクでは、MobileBERTは開発F1スコア90.0/79.2（BERT_BASEより1.5/2.1高い）を達成します。