Bio ClinicalBERT

🚀 ClinicalBERT - 生物+臨床BERT模型

ClinicalBERT是一種專門為臨床領域設計的BERT模型，它基於生物醫學和臨床數據進行預訓練，能夠更好地處理臨床文本，為醫療信息處理和分析提供強大支持。

🚀 快速開始

通過transformers庫加載模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")
model = AutoModel.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")

✨ 主要特性

• 基於生物醫學和臨床數據進行預訓練，能夠更好地理解臨床文本。
• 提供四種獨特的臨床BERT模型，可根據不同需求選擇。

📦 安裝指南

暫未提及具體安裝步驟，可參考transformers庫的官方文檔進行安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")
model = AutoModel.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")

📚 詳細文檔

預訓練數據

Bio_ClinicalBERT模型在MIMIC III的所有筆記上進行訓練，該數據庫包含馬薩諸塞州波士頓貝斯以色列醫院重症監護室患者的電子健康記錄。有關MIMIC的更多詳細信息，請參閱此處。NOTEEVENTS表中的所有筆記都被包含在內（約8.8億個單詞）。

模型預訓練

筆記預處理

MIMIC中的每個筆記首先使用基於規則的章節分割器分割成多個部分（例如，出院小結筆記被分割成“現病史”、“家族史”、“簡要住院過程”等部分）。然後，每個部分使用SciSpacy（en core sci md分詞器）分割成句子。

預訓練過程

該模型使用Google的BERT倉庫中的代碼在GeForce GTX TITAN X 12 GB GPU上進行訓練。模型參數使用BioBERT（BioBERT-Base v1.0 + PubMed 200K + PMC 270K）進行初始化。

預訓練超參數

我們在預訓練模型時使用了32的批量大小、128的最大序列長度和5 · 10−5的學習率。在所有MIMIC筆記上訓練的模型訓練了150,000步。用於複製具有不同掩碼的輸入數據的重複因子設置為5。使用了所有其他默認參數（具體而言，掩碼語言模型概率 = 0.15，每個序列的最大預測數 = 20）。

更多信息

有關更多詳細信息以及在NLI和NER任務上的性能，請參考原始論文Publicly Available Clinical BERT Embeddings（NAACL Clinical NLP Workshop 2019）。

🔧 技術細節

該模型基於BERT架構，結合生物醫學和臨床數據進行預訓練。通過對MIMIC III數據庫中的筆記進行處理和訓練，使得模型能夠更好地理解臨床文本的語義和上下文信息。在預訓練過程中，採用了特定的超參數和訓練策略，以提高模型的性能和泛化能力。

📄 許可證

本項目採用MIT許可證。

❓ 常見問題

如有任何問題，請在clinicalBERT倉庫上發佈GitHub問題，或發送電子郵件至ealsentzer@stanford.edu。