Hebemo Anticipation

🚀 HebEMO - 现代希伯来语情感识别模型

HebEMO 是一款用于检测现代希伯来语用户生成内容（UGC）极性并提取情感的工具。它基于我们收集并标注的独特新冠疫情相关数据集进行训练。

HebEMO 在极性分类方面表现出色，加权平均 F1 分数达到了 0.96。情感检测的 F1 分数在 0.78 - 0.97 之间，但“惊讶”这一情感除外，该模型未能很好地捕捉到这一情感（F1 = 0.41）。即便与英语语言模型相比，这些结果也优于目前已报道的最佳表现。

✨ 主要特性

• 能够检测现代希伯来语用户生成内容的极性。
• 可以从文本中提取八种不同的情感。
• 在极性分类和多数情感检测上表现优异。

📦 安装指南

# 安装所需依赖
!pip install pyplutchik==0.0.7
!pip install transformers==4.14.1

# 克隆 HeBERT 仓库
!git clone https://github.com/avichaychriqui/HeBERT.git

💻 使用示例

基础用法

from HeBERT.src.HebEMO import *
HebEMO_model = HebEMO()

# 从文件中读取文本进行分析
HebEMO_model.hebemo(input_path = 'data/text_example.txt')
# 返回分析后的 pandas.DataFrame  

# 直接输入文本进行分析并绘制图表
hebEMO_df = HebEMO_model.hebemo(text='החיים יפים ומאושרים', plot=True)

高级用法

情感分类模型（仅极性分类）

from transformers import AutoTokenizer, AutoModel, pipeline

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained("avichr/heBERT_sentiment_analysis") # 与 'avichr/heBERT' 分词器相同
model = AutoModel.from_pretrained("avichr/heBERT_sentiment_analysis")

# 创建情感分析管道
sentiment_analysis = pipeline(
    "sentiment-analysis",
    model="avichr/heBERT_sentiment_analysis",
    tokenizer="avichr/heBERT_sentiment_analysis",
    return_all_scores = True
)

# 进行情感分析
print(sentiment_analysis('אני מתלבט מה לאכול לארוחת צהריים'))
print(sentiment_analysis('קפה זה טעים'))
print(sentiment_analysis('אני לא אוהב את העולם'))

📚 详细文档

情感 UGC 数据描述

我们的用户生成内容数据包含了从 2020 年 1 月至 2020 年 8 月期间，从 3 家主要以色列新闻网站收集的新闻文章评论。数据总大小约为 150 MB，包含超过 700 万个单词和 35 万个句子。

约 2000 个句子由众包人员（每个句子有 3 - 10 名标注人员）进行标注，标注内容包括整体情感（极性）和 八种情感：愤怒、厌恶、期待、恐惧、喜悦、悲伤、惊讶和信任。

每种情感在句子中出现的比例如下表所示：

性能表现

情感识别

以上指标为正类（即文本中反映出该情感）的指标。

情感分类（仅极性）

⚠️ 重要提示

情感分类模型（仅极性）也可在 AWS 上使用！更多信息请访问 AWS 的 git 仓库。

📄 许可证

文档中未提及许可证相关信息。

🔗 联系我们

• Avichay Chriqui
• Inbal yahav
• 科勒闪米特语言人工智能实验室

感谢您的关注！

📖 引用说明

如果您使用了该模型，请按以下格式引用我们的工作： Chriqui, A., & Yahav, I. (2022). HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition. INFORMS Journal on Data Science, forthcoming.

@article{chriqui2021hebert,
  title={HeBERT \& HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition},
  author={Chriqui, Avihay and Yahav, Inbal},
  journal={INFORMS Journal on Data Science},
  year={2022}
}