Km Bert

🚀 醫療模型卡

本模型是下載KM - BERT模型後，將其隨意轉換為方便以Hugging Face模型形式使用的模型。

模型保持原樣，分詞器按照論文所述，採用了snunlp/KR - BERT - char16424。

感謝分享KM - BERT以供試用的作者。

若出現問題，可能會對其進行修改；或者應作者要求，也可能會從模型中心下架。

🚀 快速開始

本模型是為了方便使用KM - BERT而進行轉換的，你可以直接基於此模型進行後續的自然語言處理任務。

✨ 主要特性

• 模型轉換：將KM - BERT模型轉換為Hugging Face模型形式，方便使用。
• 分詞器選擇：採用snunlp/KR - BERT - char16424作為分詞器。

📚 詳細文檔

模型詳情

這篇文檔涵蓋以下內容：

• 模型概述：這是一個用於韓語醫療自然語言處理的預訓練BERT模型。該模型名為KM - BERT，是基於KR - BERT模型，使用韓語醫療語料庫進行預訓練，用於分析醫療領域中使用的韓語文本。此模型使用了由醫療教科書、健康信息新聞、醫學研究論文等三種類型文檔組成的約1億1160萬單詞的韓語醫療語料庫。
• 評估情況：
  • 內部評估：該模型執行了MLM和NSP這兩個無監督預訓練任務，並使用新的韓語醫療語料庫和MedSTS數據集對語言理解能力進行了內部評估。
  • 外部評估：使用韓語醫療語義文本相似度（MedSTS）數據集和韓語醫療實體識別（NER）數據集對下游任務的性能進行了外部評估。結果顯示，KM - BERT的性能優於現有的語言模型。
• 語言及領域視角：
  • M - BERT在各種語言的NLP任務中表現出較高的遷移性，但事實證明，特定語言的BERT模型比M - BERT表現更好。
  • 由於韓語的詞序與英語等印歐語系不同，因此需要專門針對韓語的BERT模型。
  • 此外，像SciBERT或LEGAL - BERT這樣的特定領域BERT嵌入，被發現比普通BERT在理解專業術語和用法方面更具優勢。
  • 這些研究結果表明了開發適合韓語醫療領域的BERT模型的必要性和有效性。

模型來源

• 代碼倉庫：https://github.com/KU - RIAS/KM - BERT - Korean - Medical - BERT
• 相關論文：https://www.nature.com/articles/s41598 - 022 - 17806 - 8

📄 許可證

引用信息

@article{KMBERT,
    title={KM-BERT: A Pre-trained BERT for Korean Medical Natural Language Processing},
    author={TBD},
    year={TBD},
    journal={TBD},
    volume={TBD}
}