hebEMO_sadnessオープンソース感情検出ツール - ヘブライ語UGCの感情極性を無料で検出

Home

Hebemo Sadness

Developed by avichr

HebEMOは、極性を検出し、現代ヘブライ語のユーザー生成コンテンツ（UGC）から感情を抽出するためのツールです。

テキスト分類

Transformers

#ヘブライ語の感情分析 #高精度の極性検出 #ニュースコメント処理

Downloads 108

Release Time : 3/2/2022

Model Overview

HebEMOは、BERTベースのヘブライ語感情分析モデルで、テキストの感情極性と8つの基本的な感情（怒り、嫌悪、期待、恐怖、喜び、悲しみ、驚き、信頼）を識別することができます。このモデルは、ヘブライ語の感情分析タスクで優れた性能を発揮し、特に極性分類では0.96の加重平均F1スコアを達成しています。

Model Features

高精度の感情極性分析

極性分類タスクで0.96の加重平均F1スコアという優れた性能を達成しました。

多様な感情識別

8つの基本的な感情を識別でき、驚きを除く他の感情のF1スコアは0.78 - 0.97の間です。

ヘブライ語向けに最適化

現代ヘブライ語のユーザー生成コンテンツに特化して学習と最適化が行われています。

大規模な学習データ

700万語以上と35万文を含むヘブライ語のニュースコメントデータセットを基に学習されています。

Model Capabilities

テキストの感情極性分析（肯定的/否定的/中立）

多様な感情識別（8つの基本的な感情）

ヘブライ語の自然言語処理

ユーザー生成コンテンツ分析

Use Cases

ソーシャルメディア分析

ニュースコメントの感情分析

ヘブライ語のニュースサイトのコメントに含まれるユーザーの感情傾向を分析します。

コメントの感情極性と具体的な感情を正確に識別できます。

市場調査

製品評価分析

ヘブライ語のユーザーによる製品またはサービスの評価の感情を分析します。

消費者の製品に対する感情反応を把握するのに役立ちます。

🚀 HebEMO - 現代ヘブライ語の感情認識モデル

HebEMOは、現代ヘブライ語のユーザー生成コンテンツ（UGC）から極性を検出し、感情を抽出するツールです。このモデルは、独自に収集し注釈付けしたCOVID - 19関連のデータセットで学習されています。

HebEMOは、極性分類において重み付き平均F1スコア = 0.96という高い性能を示しました。感情検出では、驚きを除いてF1スコアが0.78 - 0.97に達しました（驚きのF1 = 0.41）。これらの結果は、英語の場合と比較しても、報告されている最高の性能よりも優れています。

✨ 主な機能

現代ヘブライ語のユーザー生成コンテンツから極性を検出し、感情を抽出する。
独自のCOVID - 19関連データセットで学習されており、高い性能を発揮する。

📦 インストール

# !pip install pyplutchik==0.0.7
# !pip install transformers==4.14.1

!git clone https://github.com/avichaychriqui/HeBERT.git

💻 使用例

基本的な使用法

# 感情認識モデルの使用
from HeBERT.src.HebEMO import *
HebEMO_model = HebEMO()

HebEMO_model.hebemo(input_path = 'data/text_example.txt')
# return analyzed pandas.DataFrame  

hebEMO_df = HebEMO_model.hebemo(text='החיים יפים ומאושרים', plot=True)

高度な使用法

# 極性分類モデルの使用
from transformers import AutoTokenizer, AutoModel, pipeline

tokenizer = AutoTokenizer.from_pretrained("avichr/heBERT_sentiment_analysis") #same as 'avichr/heBERT' tokenizer
model = AutoModel.from_pretrained("avichr/heBERT_sentiment_analysis")

# 使い方
sentiment_analysis = pipeline(
    "sentiment-analysis",
    model="avichr/heBERT_sentiment_analysis",
    tokenizer="avichr/heBERT_sentiment_analysis",
    return_all_scores = True
)

sentiment_analysis('אני מתלבט מה לאכול לארוחת צהריים')	
# 出力例
#  [[{'label': 'neutral', 'score': 0.9978172183036804},
#  {'label': 'positive', 'score': 0.0014792329166084528},
#  {'label': 'negative', 'score': 0.0007035882445052266}]]

sentiment_analysis('קפה זה טעים')
# 出力例
#  [[{'label': 'neutral', 'score': 0.00047328314394690096},
#  {'label': 'possitive', 'score': 0.9994067549705505},
#  {'label': 'negetive', 'score': 0.00011996887042187154}]]

sentiment_analysis('אני לא אוהב את העולם')
# 出力例
#  [[{'label': 'neutral', 'score': 9.214012970915064e-05}, 
#  {'label': 'possitive', 'score': 8.876807987689972e-05}, 
#  {'label': 'negetive', 'score': 0.9998190999031067}]]

📚 ドキュメント

感情UGCデータの説明

私たちのUGCデータは、2020年1月から2020年8月までに、3つの主要なイスラエルのニュースサイトから収集したニュース記事のコメントを含んでいます。データの総サイズは約150MBで、700万語以上、35万文を含んでいます。

約2000文が、クラウドメンバーによって（文ごとに3 - 10人のアノテーター）全体的な感情（極性）と8つの感情：怒り、嫌悪、期待、恐怖、喜び、悲しみ、驚き、信頼について注釈付けされました。

各感情が出現した文の割合は、以下の表に示されています。

	怒り	嫌悪	期待	恐怖	喜び	悲しみ	驚き	信頼	感情
割合	0.78	0.83	0.58	0.45	0.12	0.59	0.17	0.11	0.25

性能

感情認識

感情	F1スコア	適合率	再現率
怒り	0.96	0.99	0.93
嫌悪	0.97	0.98	0.96
期待	0.82	0.80	0.87
恐怖	0.79	0.88	0.72
喜び	0.90	0.97	0.84
悲しみ	0.90	0.86	0.94
驚き	0.40	0.44	0.37
信頼	0.83	0.86	0.80

上記の指標は、肯定クラス（つまり、文章に感情が反映されている場合）のものです。

感情分類モデル（極性のみ）

	適合率	再現率	F1スコア
中立	0.83	0.56	0.67
肯定	0.96	0.92	0.94
否定	0.97	0.99	0.98
正解率			0.97
マクロ平均	0.92	0.82	0.86
重み付き平均	0.96	0.97	0.96

感情分類モデル（極性のみ）はAWSでも利用可能です。詳細については、AWSのgitを参照してください。

📄 ライセンス

論文を引用する場合は、以下のようにしてください。 Chriqui, A., & Yahav, I. (2022). HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition. INFORMS Journal on Data Science, forthcoming.

@article{chriqui2021hebert,
  title={HeBERT \& HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition},
  author={Chriqui, Avihay and Yahav, Inbal},
  journal={INFORMS Journal on Data Science},
  year={2022}
}