Kominilm

🚀 KoMiniLM

🐣 韩国轻量级语言模型

本项目推出的韩国轻量级语言模型，旨在解决现有语言模型因参数过多，在实际应用的微调与在线服务中受延迟和容量限制的问题。

🚀 快速开始

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("BM-K/KoMiniLM") # 23M 模型
model = AutoModel.from_pretrained("BM-K/KoMiniLM")

inputs = tokenizer("안녕 세상아!", return_tensors="pt")
outputs = model(**inputs)

📜 更新历史

** 2022.06.20 更新 **

• 发布 KoMiniLM-bert-68M

** 2022.05.24 更新 **

• 发布 KoMiniLM-bert-23M

📚 预训练

教师模型：KLUE-BERT(base)

目标

将教师模型每个离散层的自注意力分布和自注意力值关系 [Wang et al., 2020] 蒸馏到学生模型中。与 Wang 等人在 Transformer 最后一层进行蒸馏不同，本项目并非如此。

数据集

配置

• KoMiniLM-23M

{
  "architectures": [
    "BertForPreTraining"
  ],
  "attention_probs_dropout_prob": 0.1,
  "classifier_dropout": null,
  "hidden_act": "gelu",
  "hidden_dropout_prob": 0.1,
  "hidden_size": 384,
  "initializer_range": 0.02,
  "intermediate_size": 1536,
  "layer_norm_eps": 1e-12,
  "max_position_embeddings": 512,
  "model_type": "bert",
  "num_attention_heads": 12,
  "num_hidden_layers": 6,
  "output_attentions": true,
  "pad_token_id": 0,
  "position_embedding_type": "absolute",
  "return_dict": false,
  "torch_dtype": "float32",
  "transformers_version": "4.13.0",
  "type_vocab_size": 2,
  "use_cache": true,
  "vocab_size": 32000
}

子任务性能

• 微调实验结果为每个任务 3 次运行的平均值。

cd KoMiniLM-Finetune
bash scripts/run_all_kominilm.sh

• NSMC (Naver 情感电影语料库)
• Naver NER (2018 年 Naver NLP 挑战赛的命名实体识别任务)
• PAWS (韩国单词乱序释义对抗数据集)
• KorNLI/KorSTS (韩国自然语言理解数据集)
• 问题对 (配对问题数据集)
• KorQuAD (韩国问答数据集)

📖 参考文献

• KLUE BERT
• KcBERT
• SKT KoBERT
• DistilKoBERT
• lassl