Hebemo Anticipation

🚀 HebEMO - 現代希伯來語情感識別模型

HebEMO 是一款用於檢測現代希伯來語用戶生成內容（UGC）極性並提取情感的工具。它基於我們收集並標註的獨特新冠疫情相關數據集進行訓練。

HebEMO 在極性分類方面表現出色，加權平均 F1 分數達到了 0.96。情感檢測的 F1 分數在 0.78 - 0.97 之間，但“驚訝”這一情感除外，該模型未能很好地捕捉到這一情感（F1 = 0.41）。即便與英語語言模型相比，這些結果也優於目前已報道的最佳表現。

✨ 主要特性

• 能夠檢測現代希伯來語用戶生成內容的極性。
• 可以從文本中提取八種不同的情感。
• 在極性分類和多數情感檢測上表現優異。

📦 安裝指南

# 安裝所需依賴
!pip install pyplutchik==0.0.7
!pip install transformers==4.14.1

# 克隆 HeBERT 倉庫
!git clone https://github.com/avichaychriqui/HeBERT.git

💻 使用示例

基礎用法

from HeBERT.src.HebEMO import *
HebEMO_model = HebEMO()

# 從文件中讀取文本進行分析
HebEMO_model.hebemo(input_path = 'data/text_example.txt')
# 返回分析後的 pandas.DataFrame  

# 直接輸入文本進行分析並繪製圖表
hebEMO_df = HebEMO_model.hebemo(text='החיים יפים ומאושרים', plot=True)

高級用法

情感分類模型（僅極性分類）

from transformers import AutoTokenizer, AutoModel, pipeline

# 加載分詞器和模型
tokenizer = AutoTokenizer.from_pretrained("avichr/heBERT_sentiment_analysis") # 與 'avichr/heBERT' 分詞器相同
model = AutoModel.from_pretrained("avichr/heBERT_sentiment_analysis")

# 創建情感分析管道
sentiment_analysis = pipeline(
    "sentiment-analysis",
    model="avichr/heBERT_sentiment_analysis",
    tokenizer="avichr/heBERT_sentiment_analysis",
    return_all_scores = True
)

# 進行情感分析
print(sentiment_analysis('אני מתלבט מה לאכול לארוחת צהריים'))
print(sentiment_analysis('קפה זה טעים'))
print(sentiment_analysis('אני לא אוהב את העולם'))

📚 詳細文檔

情感 UGC 數據描述

我們的用戶生成內容數據包含了從 2020 年 1 月至 2020 年 8 月期間，從 3 家主要以色列新聞網站收集的新聞文章評論。數據總大小約為 150 MB，包含超過 700 萬個單詞和 35 萬個句子。

約 2000 個句子由眾包人員（每個句子有 3 - 10 名標註人員）進行標註，標註內容包括整體情感（極性）和 八種情感：憤怒、厭惡、期待、恐懼、喜悅、悲傷、驚訝和信任。

每種情感在句子中出現的比例如下表所示：

性能表現

情感識別

以上指標為正類（即文本中反映出該情感）的指標。

情感分類（僅極性）

⚠️ 重要提示

情感分類模型（僅極性）也可在 AWS 上使用！更多信息請訪問 AWS 的 git 倉庫。

📄 許可證

文檔中未提及許可證相關信息。

🔗 聯繫我們

• Avichay Chriqui
• Inbal yahav
• 科勒閃米特語言人工智能實驗室

感謝您的關注！

📖 引用說明

如果您使用了該模型，請按以下格式引用我們的工作： Chriqui, A., & Yahav, I. (2022). HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition. INFORMS Journal on Data Science, forthcoming.

@article{chriqui2021hebert,
  title={HeBERT \& HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition},
  author={Chriqui, Avihay and Yahav, Inbal},
  journal={INFORMS Journal on Data Science},
  year={2022}
}