Km Bert

🚀 モデルIDのモデルカード

このモデルは、KM - BERTのモデルをダウンロードし、任意にHugging Faceモデルの形式に変換して利用しやすくしたものです。 モデル自体はそのままで、トークナイザーは論文に記載されている通り、snunlp/KR - BERT - char16424を使用しています。 KM - BERTを利用できるように共有してくださった著者の方に感謝申し上げます。 問題が発生した場合は修正するか、著者の要請があればハブから削除することもあります。

📚 ドキュメント

この文書は以下の内容を扱っています。

モデルの概要

韓国語の医療自然言語処理用の事前学習済みBERTモデルです。このモデルは、医療分野で使用される韓国語テキストを分析するために、KR - BERTモデルをベースに韓国語の医療コーパスで事前学習したKM - BERTと呼ばれています。このモデルは、医療教科書、健康情報ニュース、医療研究論文など3種類の文書から構成される約1億1160万語の韓国語医療コーパスを使用しています。

内部評価と外部評価

このモデルは、MLMとNSPという2つの教師なし事前学習タスクを実行し、新しい韓国語医療コーパスとMedSTSデータセットを使用して言語理解能力を内部評価しました。また、韓国語医療意味論的テキスト類似度（MedSTS）データセットと韓国語医療固有表現認識（NER）データセットを使用して、下流タスクに対する性能を外部評価しました。結果として、KM - BERTは既存の言語モデルよりも優れた性能を示しました。

言語別および分野別の観点

M - BERTは様々な言語に対するNLPタスクに高い転移性を示しますが、言語別のBERTモデルがM - BERTよりも優れた性能を示すことが証明されています。

1. 韓国語は英語などの印欧語とは異なる単語順序を持っているため、韓国語に特化したBERTモデルが必要です。
2. また、SciBERTやLEGAL - BERTなどの分野別BERT埋め込みが、BERTよりも専門用語と用法に対する理解能力を向上させることが明らかになりました。
3. これらの研究結果は、韓国語医療分野に適したBERTモデル開発の必要性と有効性を示しています。

モデルのソース [任意]

• リポジトリ: https://github.com/KU-RIAS/KM-BERT-Korean-Medical-BERT
• 論文: https://www.nature.com/articles/s41598-022-17806-8

📄 ライセンス

@article{KMBERT,
    title={KM-BERT: A Pre-trained BERT for Korean Medical Natural Language Processing},
    author={TBD},
    year={TBD},
    journal={TBD},
    volume={TBD}
  }