Klue Bert Base Sentiment

🚀 韓語情感分類模型

本項目是一個韓語情感分類模型，能夠進行60種細分的情感分類。它基於特定數據集進行訓練，通過對父模型進行微調得到，具有一定的應用價值。

🚀 快速開始

本模型可通過Hugging Face平臺使用，你可以按照以下步驟進行操作：

1. 訪問模型頁面：hun3359/klue-bert-base-sentiment
2. 按照平臺提供的使用說明進行調用。

✨ 主要特性

• 細粒度分類：能夠進行60種細分的情感分類，提供更詳細的情感分析結果。
• 基於特定數據集：使用Aihub-감성대화말뭉치數據集進行訓練，保證了模型的針對性和準確性。
• 微調優化：通過對父模型klue/bert-base進行微調，提升了模型的性能。

📦 安裝指南

暫未提供具體的安裝步驟，你可以參考Hugging Face平臺上的相關文檔進行安裝。

💻 使用示例

基礎用法

你可以使用以下代碼示例調用模型進行情感分類：

# 這裡需要根據實際情況補充調用模型的代碼

📚 詳細文檔

數據集信息

• 數據集名稱：Aihub-감성대화말뭉치
• 數據集URL：https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=86

模型信息

• 模型名稱：hun3359/klue-bert-base-sentiment
• 父模型名稱：klue/bert-base
• 父模型URL：https://huggingface.co/klue/bert-base

混淆矩陣

微調日誌

• distilbert-base-multilingual-cased進行5個epoch的微調 --> f1: 0.25 (2023.08.08)
• bongsoo/mdistilbertV3.1進行5個epoch的微調 --> f1: 0.26 (2023.08.09)
• klue/bert-base進行5個epoch的微調 --> 見以下結果 (2023.08.09)

微調結果

{
  "test_loss": 2.8668248653411865,
  "test_accuracy": 0.29371889480006863,
  "test_f1": 0.29102037288558685,
  "test_runtime": 50.8082,
  "test_samples_per_second": 458.745,
  "test_steps_per_second": 14.348
}

模型配置

{
  "_name_or_path": "klue/bert-base",
  "architectures": [
    "BertForSequenceClassification"
  ],
  "attention_probs_dropout_prob": 0.1,
  "classifier_dropout": null,
  "hidden_act": "gelu",
  "hidden_dropout_prob": 0.1,
  "hidden_size": 768,
  "initializer_range": 0.02,
  "intermediate_size": 3072,
  "id2label":{
    "0": "憤怒",
    "1": "嘮叨",
    "2": "沮喪",
    "3": "煩躁",
    "4": "防禦性的",
    "5": "惡意的",
    "6": "焦慮",
    "7": "噁心",
    "8": "惱火",
    "9": "厭煩的",
    "10": "悲傷",
    "11": "失望",
    "12": "悲痛",
    "13": "後悔",
    "14": "憂鬱",
    "15": "麻木",
    "16": "世俗的",
    "17": "流淚的",
    "18": "氣餒",
    "19": "幻滅的",
    "20": "不安",
    "21": "害怕",
    "22": "有壓力的",
    "23": "脆弱的",
    "24": "混亂的",
    "25": "困惑的",
    "26": "懷疑的",
    "27": "擔憂的",
    "28": "謹慎的",
    "29": "急躁的",
    "30": "傷害",
    "31": "嫉妒",
    "32": "被背叛",
    "33": "孤立的",
    "34": "震驚",
    "35": "貧窮不幸的",
    "36": "犧牲的",
    "37": "冤枉的",
    "38": "痛苦的",
    "39": "被拋棄",
    "40": "慌張",
    "41": "孤立的（慌張的）",
    "42": "在意他人目光的",
    "43": "孤獨的",
    "44": "自卑感",
    "45": "罪惡感",
    "46": "羞愧的",
    "47": "厭惡的",
    "48": "差勁的",
    "49": "混亂的（慌張的）",
    "50": "喜悅",
    "51": "感激的",
    "52": "信任的",
    "53": "舒適的",
    "54": "滿意的",
    "55": "興奮",
    "56": "悠閒",
    "57": "安心",
    "58": "興奮的",
    "59": "自信的"
  },
  "label2id": {
    "憤怒": 0,
    "嘮叨": 1,
    "沮喪": 2,
    "煩躁": 3,
    "防禦性的": 4,
    "惡意的": 5,
    "焦慮": 6,
    "噁心": 7,
    "惱火": 8,
    "厭煩的": 9,
    "悲傷": 10,
    "失望": 11,
    "悲痛": 12,
    "後悔": 13,
    "憂鬱": 14,
    "麻木": 15,
    "世俗的": 16,
    "流淚的": 17,
    "氣餒": 18,
    "幻滅的": 19,
    "不安": 20,
    "害怕": 21,
    "有壓力的": 22,
    "脆弱的": 23,
    "混亂的": 24,
    "困惑的": 25,
    "懷疑的": 26,
    "擔憂的": 27,
    "謹慎的": 28,
    "急躁的": 29,
    "傷害": 30,
    "嫉妒": 31,
    "被背叛": 32,
    "孤立的": 33,
    "震驚": 34,
    "貧窮不幸的": 35,
    "犧牲的": 36,
    "冤枉的": 37,
    "痛苦的": 38,
    "被拋棄": 39,
    "慌張": 40,
    "孤立的（慌張的）": 41,
    "在意他人目光的": 42,
    "孤獨的": 43,
    "自卑感": 44,
    "罪惡感": 45,
    "羞愧的": 46,
    "厭惡的": 47,
    "差勁的": 48,
    "混亂的（慌張的）": 49,
    "喜悅": 50,
    "感激的": 51,
    "信任的": 52,
    "舒適的": 53,
    "滿意的": 54,
    "興奮": 55,
    "悠閒": 56,
    "安心": 57,
    "興奮的": 58,
    "自信的": 59
  },
  "layer_norm_eps": 1e-12,
  "max_position_embeddings": 512,
  "model_type": "bert",
  "num_attention_heads": 12,
  "num_hidden_layers": 12,
  "pad_token_id": 0,
  "position_embedding_type": "absolute",
  "problem_type": "single_label_classification",
  "torch_dtype": "float32",
  "transformers_version": "4.30.2",
  "type_vocab_size": 2,
  "use_cache": true,
  "vocab_size": 32000
}

🔧 技術細節

本模型基於BertForSequenceClassification架構，通過對父模型klue/bert-base進行微調得到。在微調過程中，使用了Aihub-감성대화말뭉치數據集，並進行了多個epoch的訓練，以提升模型的性能。

📄 許可證

本項目採用CC BY-SA 4.0許可證。你可以在遵循許可證的前提下使用和分發本模型。