Kominilm

🚀 KoMiniLM

🐣 韓國輕量級語言模型

本項目推出的韓國輕量級語言模型，旨在解決現有語言模型因參數過多，在實際應用的微調與在線服務中受延遲和容量限制的問題。

🚀 快速開始

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("BM-K/KoMiniLM") # 23M 模型
model = AutoModel.from_pretrained("BM-K/KoMiniLM")

inputs = tokenizer("안녕 세상아!", return_tensors="pt")
outputs = model(**inputs)

📜 更新歷史

** 2022.06.20 更新 **

• 發佈 KoMiniLM-bert-68M

** 2022.05.24 更新 **

• 發佈 KoMiniLM-bert-23M

📚 預訓練

教師模型：KLUE-BERT(base)

目標

將教師模型每個離散層的自注意力分佈和自注意力值關係 [Wang et al., 2020] 蒸餾到學生模型中。與 Wang 等人在 Transformer 最後一層進行蒸餾不同，本項目並非如此。

數據集

配置

• KoMiniLM-23M

{
  "architectures": [
    "BertForPreTraining"
  ],
  "attention_probs_dropout_prob": 0.1,
  "classifier_dropout": null,
  "hidden_act": "gelu",
  "hidden_dropout_prob": 0.1,
  "hidden_size": 384,
  "initializer_range": 0.02,
  "intermediate_size": 1536,
  "layer_norm_eps": 1e-12,
  "max_position_embeddings": 512,
  "model_type": "bert",
  "num_attention_heads": 12,
  "num_hidden_layers": 6,
  "output_attentions": true,
  "pad_token_id": 0,
  "position_embedding_type": "absolute",
  "return_dict": false,
  "torch_dtype": "float32",
  "transformers_version": "4.13.0",
  "type_vocab_size": 2,
  "use_cache": true,
  "vocab_size": 32000
}

子任務性能

• 微調實驗結果為每個任務 3 次運行的平均值。

cd KoMiniLM-Finetune
bash scripts/run_all_kominilm.sh

• NSMC (Naver 情感電影語料庫)
• Naver NER (2018 年 Naver NLP 挑戰賽的命名實體識別任務)
• PAWS (韓國單詞亂序釋義對抗數據集)
• KorNLI/KorSTS (韓國自然語言理解數據集)
• 問題對 (配對問題數據集)
• KorQuAD (韓國問答數據集)

📖 參考文獻

• KLUE BERT
• KcBERT
• SKT KoBERT
• DistilKoBERT
• lassl