Hebemo Disgust

🚀 HebEMO - 现代希伯来语情感识别模型

HebEMO 是一款用于检测现代希伯来语用户生成内容（UGC）情感极性并提取情感的工具。它基于我们收集和标注的独特新冠疫情相关数据集进行训练。

HebEMO 在极性分类方面表现出色，加权平均 F1 分数达到了 0.96。在情感检测方面，除了“惊讶”情绪（F1 = 0.41，模型未能很好地捕捉），其他情感的 F1 分数在 0.78 - 0.97 之间。这些结果即使与英语模型相比，也优于目前报道的最佳性能。

🚀 快速开始

HebEMO 可以帮助你轻松地对现代希伯来语的用户生成内容进行情感极性检测和情感提取。下面将介绍如何使用该模型。

✨ 主要特性

• 高性能：在极性分类和情感检测任务中均取得了优异的成绩。
• 独特数据集：基于新冠疫情相关的独特数据集进行训练，具有良好的泛化能力。
• 多任务支持：既可以进行情感极性分类，也可以进行情感识别。

📦 安装指南

在使用 HebEMO 之前，你需要安装一些必要的依赖库：

# !pip install pyplutchik==0.0.7
# !pip install transformers==4.14.1

!git clone https://github.com/avichaychriqui/HeBERT.git

💻 使用示例

基础用法

以下是使用 HebEMO 进行情感分析的基本代码示例：

# !pip install pyplutchik==0.0.7
# !pip install transformers==4.14.1

!git clone https://github.com/avichaychriqui/HeBERT.git
from HeBERT.src.HebEMO import *
HebEMO_model = HebEMO()

HebEMO_model.hebemo(input_path = 'data/text_example.txt')
# return analyzed pandas.DataFrame  

hebEMO_df = HebEMO_model.hebemo(text='החיים יפים ומאושרים', plot=True)

高级用法

如果你只需要进行情感极性分类，可以使用以下代码：

from transformers import AutoTokenizer, AutoModel, pipeline

tokenizer = AutoTokenizer.from_pretrained("avichr/heBERT_sentiment_analysis") #same as 'avichr/heBERT' tokenizer
model = AutoModel.from_pretrained("avichr/heBERT_sentiment_analysis")

# how to use?
sentiment_analysis = pipeline(
    "sentiment-analysis",
    model="avichr/heBERT_sentiment_analysis",
    tokenizer="avichr/heBERT_sentiment_analysis",
    return_all_scores = True
)

sentiment_analysis('אני מתלבט מה לאכול לארוחת צהריים')	
# >>>  [[{'label': 'neutral', 'score': 0.9978172183036804},
# >>>  {'label': 'positive', 'score': 0.0014792329166084528},
# >>>  {'label': 'negative', 'score': 0.0007035882445052266}]]

sentiment_analysis('קפה זה טעים')
# >>>  [[{'label': 'neutral', 'score': 0.00047328314394690096},
# >>>  {'label': 'possitive', 'score': 0.9994067549705505},
# >>>  {'label': 'negetive', 'score': 0.00011996887042187154}]]

sentiment_analysis('אני לא אוהב את העולם')
# >>>  [[{'label': 'neutral', 'score': 9.214012970915064e-05}, 
# >>>  {'label': 'possitive', 'score': 8.876807987689972e-05}, 
# >>>  {'label': 'negetive', 'score': 0.9998190999031067}]]

📚 详细文档

情感UGC数据描述

我们的 UGC 数据包含了从 2020 年 1 月到 2020 年 8 月期间，从 3 家主要以色列新闻网站收集的新闻文章评论。数据总大小约为 150 MB，包含超过 700 万个单词和 35 万个句子。

约 2000 个句子由众包人员（每个句子有 3 - 10 名标注人员）进行了整体情感（极性）和 八种情感 的标注，包括：愤怒、厌恶、期待、恐惧、喜悦、悲伤、惊讶和信任。

每种情感在句子中出现的比例如下表所示：

性能表现

情感识别

以上指标针对正类（即文本中反映出该情感）。

情感极性分析

情感极性分析模型也可在 AWS 上使用！更多信息请访问 AWS 的 GitHub 仓库

📄 许可证

文档中未提及许可证相关信息。

🔗 联系我们

• Avichay Chriqui
• Inbal yahav
• The Coller Semitic Languages AI Lab

感谢使用，תודה，شكرا

📚 引用说明

如果你使用了该模型，请按照以下格式引用： Chriqui, A., & Yahav, I. (2022). HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition. INFORMS Journal on Data Science, forthcoming.

@article{chriqui2021hebert,
  title={HeBERT \& HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition},
  author={Chriqui, Avihay and Yahav, Inbal},
  journal={INFORMS Journal on Data Science},
  year={2022}
}