Hebemo Anticipation

🚀 HebEMO - 現代ヘブライ語の感情認識モデル

HebEMOは、独自に収集・アノテーションしたCOVID - 19関連のデータセットで学習され、現代ヘブライ語のユーザー生成コンテンツ（UGC）から極性を検出し、感情を抽出するツールです。極性分類において、重み付き平均F1スコア = 0.96という高い性能を発揮しました。感情検出では、驚き を除いてF1スコアが0.78 - 0.97に達しました（驚き のF1 = 0.41）。これらの結果は、英語の場合と比較しても、報告されている最高性能を上回っています。

✨ 主な機能

• 現代ヘブライ語のUGCから極性と感情を検出する。
• 独自のCOVID - 19関連データセットで学習された高精度モデル。

📦 インストール

# !pip install pyplutchik==0.0.7
# !pip install transformers==4.14.1

!git clone https://github.com/avichaychriqui/HeBERT.git

💻 使用例

基本的な使用法

from HeBERT.src.HebEMO import *
HebEMO_model = HebEMO()

HebEMO_model.hebemo(input_path = 'data/text_example.txt')
# return analyzed pandas.DataFrame  

hebEMO_df = HebEMO_model.hebemo(text='החיים יפים ומאושרים', plot=True)

高度な使用法

from transformers import AutoTokenizer, AutoModel, pipeline

tokenizer = AutoTokenizer.from_pretrained("avichr/heBERT_sentiment_analysis") #same as 'avichr/heBERT' tokenizer
model = AutoModel.from_pretrained("avichr/heBERT_sentiment_analysis")

# how to use?
sentiment_analysis = pipeline(
    "sentiment-analysis",
    model="avichr/heBERT_sentiment_analysis",
    tokenizer="avichr/heBERT_sentiment_analysis",
    return_all_scores = True
)

sentiment_analysis('אני מתלבט מה לאכול לארוחת צהריים')	
# 出力結果はそのまま
sentiment_analysis('קפה זה טעים')
# 出力結果はそのまま
sentiment_analysis('אני לא אוהב את העולם')
# 出力結果はそのまま

📚 ドキュメント

感情UGCデータの説明

UGCデータには、2020年1月から2020年8月までに、3つの主要なイスラエルのニュースサイトから収集したニュース記事のコメントが含まれています。データの総サイズは約150MBで、700万語以上、35万文を含んでいます。 約2000文が、クラウドメンバーによって（文ごとに3 - 10人のアノテーター）、全体的な感情（極性）と8つの感情：怒り、嫌悪、期待、恐怖、喜び、悲しみ、驚き、信頼についてアノテーションされました。 各感情が出現した文の割合は、以下の表に示されています。

性能

感情認識

上記の指標は、肯定クラス（つまり、テキストに感情が反映されている場合）のものです。

感情分類（極性のみ）

感情分類モデル（極性のみ）はAWSでも利用可能です！詳細についてはAWSのgitを参照してください。

📄 ライセンス

本モデルを使用する場合は、以下のように引用してください。 Chriqui, A., & Yahav, I. (2022). HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition. INFORMS Journal on Data Science, forthcoming.

@article{chriqui2021hebert,
  title={HeBERT \& HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition},
  author={Chriqui, Avihay and Yahav, Inbal},
  journal={INFORMS Journal on Data Science},
  year={2022}
}

お問い合わせ

Avichay Chriqui
Inbal yahav
The Coller Semitic Languages AI Lab
Thank you, תודה, شكرا