Deid Bert I2b2

🚀 臨床醫療筆記去識別模型

本項目是一個基於ClinicalBERT微調的模型，專注於醫療筆記的去識別處理，能夠精準識別並處理受保護的健康信息（PHI/PII），為醫療數據的隱私保護提供有力支持。

🚀 快速開始

• 模型工作演示（使用模型預測對醫療筆記進行去識別）可在這個空間查看：Medical-Note-Deidentification。
• 關於如何使用此模型進行前向傳播的步驟可參考：Forward Pass。
• 簡要步驟如下：
  • 對數據集進行句子分割（模型會將句子聚合回筆記級別）和分詞。
  • 使用模型的預測函數收集預測結果（即每個標記的預測）。
  • 此外，模型預測結果可用於從原始筆記/文本中移除PHI。

✨ 主要特性

• 基於ClinicalBERT [Alsentzer et al., 2019]模型微調，專門用於醫療筆記的去識別任務。
• 採用序列標註（標記分類）方法，訓練模型預測受保護的健康信息（PHI/PII）實體（跨度）。受保護健康信息類別列表由HIPAA提供。
• 標記可分類為非PHI或11種PHI類型之一。通過BILOU標記將標記預測聚合為跨度。
• 用於訓練的PHI標籤及其他詳細信息可查看：Annotation Guidelines。
• 更多關於如何使用此模型、數據格式及其他有用信息可在GitHub倉庫中找到：Robust DeID。

📦 安裝指南

文檔中未提及具體安裝步驟，故跳過此章節。

💻 使用示例

文檔中未提供代碼示例，故跳過此章節。

📚 詳細文檔

數據集

• 使用I2B2 2014 [Stubbs and Uzuner, 2015]數據集訓練該模型。

訓練過程

• 關於如何訓練此模型的步驟可參考：Training。“model_name_or_path”設置為：“emilyalsentzer/Bio_ClinicalBERT”。
  • 使用spacy的en_core_sci_sm句子分割器對數據集進行句子分割。
  • 然後使用基於spacy的en_core_sci_sm分詞器構建的自定義分詞器對數據集進行分詞。
  • 對於每個句子，在左側添加32個標記（來自前一個句子），在右側添加32個標記（來自下一個句子）。
  • 添加的標記不用於學習，即不對這些標記計算損失，它們用作額外的上下文。
  • 每個序列最多包含128個標記（包括添加的32個標記）。較長的序列會被分割。
  • 使用基於BILOU符號的標記級標籤的句子分割和分詞後的數據集來訓練模型。
  • 該模型是從預訓練的RoBERTa模型微調而來。

訓練細節

• 輸入序列長度：128
• 批量大小：32
• 優化器：AdamW
• 學習率：4e-5
• 丟棄率：0.1

結果

文檔中未詳細描述結果內容，故跳過此章節。

🔧 技術細節

文檔中關於技術細節的描述較為分散且缺乏系統性總結，未滿足至少50字具體技術說明的要求，故跳過此章節。

📄 許可證

本項目採用MIT許可證。