Emo Mobilebert

🚀 Emo-MobileBERT：基於EmoContext數據集從頭開始訓練的精簡版BERT LARGE模型

Emo-MobileBERT是BERT LARGE的精簡版本，它基於EmoContext數據集從頭開始訓練。該模型在資源有限的設備上表現出色，能夠在情感識別等下游任務中發揮重要作用。

📚 模型詳情

MobileBERT詳情

MobileBERT 模型由 Zhiqing Sun、Hongkun Yu、Xiaodan Song、Renjie Liu、Yiming Yang、Denny Zhou 等人在論文 MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices 中提出。以下是論文摘要：

自然語言處理（NLP）近年來通過使用數億參數的大型預訓練模型取得了巨大成功。然而，這些模型存在模型尺寸大、延遲高的問題，無法部署到資源有限的移動設備上。在本文中，我們提出了用於壓縮和加速流行的BERT模型的MobileBERT。與原始的BERT一樣，MobileBERT與任務無關，即它可以通過簡單的微調廣泛應用於各種下游NLP任務。從本質上講，MobileBERT是BERT_LARGE的精簡版本，同時配備了瓶頸結構，並在自注意力機制和前饋網絡之間進行了精心設計的平衡。為了訓練MobileBERT，我們首先訓練了一個專門設計的教師模型，即結合了倒置瓶頸結構的BERT_LARGE模型。然後，我們將知識從這個教師模型轉移到MobileBERT。實證研究表明，MobileBERT比BERT_BASE小4.3倍，速度快5.5倍，同時在知名基準測試中取得了有競爭力的結果。在GLUE的自然語言推理任務中，MobileBERT的GLUE分數達到77.7（比BERT_BASE低0.6），在Pixel 4手機上的延遲為62毫秒。在SQuAD v1.1/v2.0問答任務中，MobileBERT的開發集F1分數達到90.0/79.2（比BERT_BASE高1.5/2.1）。

下游任務詳情（情感識別） - 數據集

SemEval - 2019任務3：文本中的上下文情感檢測（EmoContext）

在這個數據集中，給定一個文本對話，即一個話語以及前兩輪的上下文，目標是從四個情感類別中選擇來推斷該話語背後的情感：

• 悲傷 😢
• 快樂 😃
• 憤怒 😡
• 其他

💻 模型訓練與使用

模型訓練

訓練腳本可在 此處 找到。

模型使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline

tokenizer = AutoTokenizer.from_pretrained("lordtt13/emo-mobilebert")

model = AutoModelForSequenceClassification.from_pretrained("lordtt13/emo-mobilebert")

nlp_sentence_classif = pipeline('sentiment-analysis', model = model, tokenizer = tokenizer)
nlp_sentence_classif("I've never had such a bad day in my life")
# 輸出: [{'label': 'sad', 'score': 0.93153977394104}]

👨‍💻 開發者信息

本項目由 Tanmay Thakur 創建，你可以通過 LinkedIn 聯繫他。