Clinical Pubmed Bert Base 512

🚀 臨床PubMedBERT

臨床PubMedBERT是一個用於臨床決策支持的預訓練模型。它結合了電子健康記錄（EHRs）和生物醫學論文這兩個與通用知識文本語料庫重疊較少的領域，有望在臨床相關的下游任務（如再入院預測）中取得更好的效果。更多詳情請見：https://github.com/NtaylorOX/Public_Prompt_Mimic_III

🚀 快速開始

本模型基於在PubMed摘要上預訓練的BERT模型，並在臨床筆記（MIMIC - III）上進行持續預訓練。

✨ 主要特性

• 跨領域結合：結合了電子健康記錄和生物醫學論文兩個領域，與通用知識文本語料庫重疊少。
• 大規模訓練：在從MIMIC數據集中隨機抽取的500000條臨床筆記上進行訓練，訓練步數達100k。
• 增強語言連貫性：使用全詞掩碼來增強語言模型的連貫性。
• 統一長度處理：所有筆記被分塊為長度為512個標記。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

# 文檔未提供代碼示例，此處無法展示

高級用法

# 文檔未提供高級用法代碼示例，此處無法展示

📚 詳細文檔

預訓練模型鏈接：https://huggingface.co/microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract

示例展示

• 示例1："Due to shortness of breath, the patient is diagnosed with [MASK], and other respiratory problems."
• 示例2："Due to high blood sugar, and very low blood pressure, the patient is diagnosed with [MASK]."

🔧 技術細節

本模型是在PubMed摘要上預訓練的BERT模型基礎上，在臨床筆記（MIMIC - III）上進行持續預訓練。訓練數據是從MIMIC數據集中隨機抽取的500000條臨床筆記，訓練步數為100k。使用全詞掩碼來增強語言模型的連貫性，所有筆記被分塊為長度為512個標記。

📄 許可證

本項目採用MIT許可證。

數據集信息