Hebemo Trust

🚀 HebEMO - 現代ヘブライ語の感情識別モデル

HebEMOは、現代ヘブライ語のユーザー生成コンテンツ（UGC）の極性を検出し、感情を抽出するツールです。このモデルは、独自に収集・アノテーション付けしたCOVID-19関連のデータセットを用いて訓練されています。HebEMOは、極性分類タスクにおいて、加重平均F1スコアが0.96という高い性能を達成しています。感情検出では、「驚き」の感情（F1スコア0.41、モデルがこの感情をうまく捉えられていない）を除き、他の感情のF1スコアは0.78 - 0.97に達しています。これらの結果は、英語の言語モデルの最高性能と比較しても優れています。

🚀 クイックスタート

感情識別モデル

オンラインモデルは huggingface spaces で見つけることができます。または、colab notebook を使用することもできます。

# !pip install pyplutchik==0.0.7
# !pip install transformers==4.14.1

!git clone https://github.com/avichaychriqui/HeBERT.git
from HeBERT.src.HebEMO import *
HebEMO_model = HebEMO()

HebEMO_model.hebemo(input_path = 'data/text_example.txt')
# return analyzed pandas.DataFrame  

hebEMO_df = HebEMO_model.hebemo(text='החיים יפים ומאושרים', plot=True)

感情分類モデル（極性のみ）

from transformers import AutoTokenizer, AutoModel, pipeline

tokenizer = AutoTokenizer.from_pretrained("avichr/heBERT_sentiment_analysis") #same as 'avichr/heBERT' tokenizer
model = AutoModel.from_pretrained("avichr/heBERT_sentiment_analysis")

# 使い方
sentiment_analysis = pipeline(
    "sentiment-analysis",
    model="avichr/heBERT_sentiment_analysis",
    tokenizer="avichr/heBERT_sentiment_analysis",
    return_all_scores = True
)

sentiment_analysis('אני מתלבט מה לאכול לארוחת צהריים')	
>>>  [[{'label': 'neutral', 'score': 0.9978172183036804},
>>>  {'label': 'positive', 'score': 0.0014792329166084528},
>>>  {'label': 'negative', 'score': 0.0007035882445052266}]]

sentiment_analysis('קפה זה טעים')
>>>  [[{'label': 'neutral', 'score': 0.00047328314394690096},
>>>  {'label': 'possitive', 'score': 0.9994067549705505},
>>>  {'label': 'negetive', 'score': 0.00011996887042187154}]]

sentiment_analysis('אני לא אוהב את העולם')
>>>  [[{'label': 'neutral', 'score': 9.214012970915064e-05}, 
>>>  {'label': 'possitive', 'score': 8.876807987689972e-05}, 
>>>  {'label': 'negetive', 'score': 0.9998190999031067}]]

✨ 主な機能

• 現代ヘブライ語のユーザー生成コンテンツの極性を検出し、感情を抽出することができます。
• 独自のCOVID-19関連データセットを用いて訓練されており、極性分類と感情検出タスクで優れた性能を発揮します。

📦 インストール

# !pip install pyplutchik==0.0.7
# !pip install transformers==4.14.1

!git clone https://github.com/avichaychriqui/HeBERT.git

💻 使用例

基本的な使用法

# 感情識別モデルの基本的な使用法
from HeBERT.src.HebEMO import *
HebEMO_model = HebEMO()

HebEMO_model.hebemo(input_path = 'data/text_example.txt')
# return analyzed pandas.DataFrame  

hebEMO_df = HebEMO_model.hebemo(text='החיים יפים ומאושרים', plot=True)

高度な使用法

# 感情分類モデル（極性のみ）の使用
from transformers import AutoTokenizer, AutoModel, pipeline

tokenizer = AutoTokenizer.from_pretrained("avichr/heBERT_sentiment_analysis") #same as 'avichr/heBERT' tokenizer
model = AutoModel.from_pretrained("avichr/heBERT_sentiment_analysis")

# 感情分析を行う
sentiment_analysis = pipeline(
    "sentiment-analysis",
    model="avichr/heBERT_sentiment_analysis",
    tokenizer="avichr/heBERT_sentiment_analysis",
    return_all_scores = True
)

# 異なるテキストを入力してテストする
sentiment_analysis('אני מתלבט מה לאכול לארוחת צהריים')	
sentiment_analysis('קפה זה טעים')
sentiment_analysis('אני לא אוהב את העולם')

📚 ドキュメント

感情UGCデータの説明

私たちのUGCデータは、2020年1月から2020年8月までの期間に、3つの主要なイスラエルのニュースサイトから収集したニュース記事のコメントを含んでいます。データの総サイズは約150MBで、700万語以上と35万文を含んでいます。約2000の文は、クラウドソーシングメンバーによって（各文に3 - 10人のアノテーター）、全体的な感情（極性）と8つの感情：怒り、嫌悪、期待、恐怖、喜び、悲しみ、驚き、信頼についてアノテーション付けされています。各感情が文に出現する割合は以下の表に示されています。

性能

感情識別

上記の指標は、正のクラス（つまり、テキストにその感情が反映されている）に対するものです。

感情分類（極性のみ）

⚠️ 重要な注意事項

感情分類（極性）モデルは、AWS上でも使用できます！詳細については、AWSのgitリポジトリ をご覧ください。

📞 お問い合わせ

• Avichay Chriqui
• Inbal yahav
• The Coller Semitic Languages AI Lab

ありがとう！תודה！شكرا！

📚 引用について

このモデルを使用した場合は、以下の形式で引用してください。 Chriqui, A., & Yahav, I. (2022). HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition. INFORMS Journal on Data Science, forthcoming.

@article{chriqui2021hebert,
  title={HeBERT \& HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition},
  author={Chriqui, Avihay and Yahav, Inbal},
  journal={INFORMS Journal on Data Science},
  year={2022}
}