Kominilm

🚀 KoMiniLM

🐣 軽量な韓国語言語モデルです。現在の言語モデルは通常数億のパラメータで構成されており、レイテンシや容量の制約により、実際のアプリケーションでの微調整やオンラインサービングに課題があります。本プロジェクトでは、これらの欠点を解消するために、軽量な韓国語言語モデルをリリースします。

🚀 クイックスタート

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("BM-K/KoMiniLM") # 23Mモデル
model = AutoModel.from_pretrained("BM-K/KoMiniLM")

inputs = tokenizer("안녕 세상아!", return_tensors="pt")
outputs = model(**inputs)

📚 ドキュメント

更新履歴

** 2022.06.20更新 **

• KoMiniLM-bert-68Mをリリース

** 2022.05.24更新 **

• KoMiniLM-bert-23Mをリリース

事前学習

教師モデル: KLUE-BERT(base)

目的

Self-Attention DistributionとSelf-Attention Value-Relation [Wang et al., 2020]を教師モデルの各離散層から学生モデルに蒸留しました。Wangらはトランスフォーマーの最後の層で蒸留を行いましたが、本プロジェクトではそうではありません。

データセット

設定

• KoMiniLM-23M

{
  "architectures": [
    "BertForPreTraining"
  ],
  "attention_probs_dropout_prob": 0.1,
  "classifier_dropout": null,
  "hidden_act": "gelu",
  "hidden_dropout_prob": 0.1,
  "hidden_size": 384,
  "initializer_range": 0.02,
  "intermediate_size": 1536,
  "layer_norm_eps": 1e-12,
  "max_position_embeddings": 512,
  "model_type": "bert",
  "num_attention_heads": 12,
  "num_hidden_layers": 6,
  "output_attentions": true,
  "pad_token_id": 0,
  "position_embedding_type": "absolute",
  "return_dict": false,
  "torch_dtype": "float32",
  "transformers_version": "4.13.0",
  "type_vocab_size": 2,
  "use_cache": true,
  "vocab_size": 32000
}

サブタスクでの性能

• 微調整実験の結果は、各タスクについて3回の実行の平均です。

cd KoMiniLM-Finetune
bash scripts/run_all_kominilm.sh

• NSMC (Naver Sentiment Movie Corpus)
• Naver NER (2018年Naver NLP ChallengeのNERタスク)
• PAWS (Korean Paraphrase Adversaries from Word Scrambling)
• KorNLI/KorSTS (Korean Natural Language Understanding)
• 質問ペア (ペア質問)
• KorQuAD (韓国語質問応答データセット)

ユーザー投稿の使用例

参考文献

• KLUE BERT
• KcBERT
• SKT KoBERT
• DistilKoBERT
• lassl