Clinical Longformer

🚀 臨床長序列模型（Clinical-Longformer）

Clinical-Longformer 是 Longformer 的臨床知識增強版本，它使用 MIMIC - III 臨床筆記進行了進一步預訓練。該模型允許最多 4096 個標記作為輸入。在 10 個基準數據集上，Clinical-Longformer 的表現始終比 ClinicalBERT 高出至少 2%。這些下游實驗廣泛涵蓋了命名實體識別（NER）、問答（QA）、自然語言推理（NLI）和文本分類任務。更多詳細信息，請參考我們的論文。我們還在 Clinical-BigBIrd 提供了一個姊妹模型。

✨ 主要特性

• 基於 Longformer 進行臨床知識增強，使用 MIMIC - III 臨床筆記進一步預訓練。
• 支持最多 4096 個標記的輸入。
• 在多個基準數據集上表現優於 ClinicalBERT。
• 下游實驗覆蓋多種自然語言處理任務。

📦 安裝指南

此部分文檔未提及具體安裝命令，故跳過。

💻 使用示例

基礎用法

直接從 Transformers 庫加載模型：

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("yikuan8/Clinical-Longformer")
model = AutoModelForMaskedLM.from_pretrained("yikuan8/Clinical-Longformer")

📚 詳細文檔

預訓練

我們從 Longformer 基礎版本的預訓練權重初始化 Clinical-Longformer。預訓練過程在 6 個 32GB 的 Tesla V100 GPU 上並行分佈。啟用了 FP16 精度以加速訓練。我們以 6×3 的批量大小對 Clinical-Longformer 進行了 200,000 步的預訓練。兩個模型的學習率均為 3e - 5。整個預訓練過程耗時超過 2 周。

引用

如果您發現我們的模型有幫助，請考慮引用：

@article{li2023comparative,
  title={A comparative study of pretrained language models for long clinical text},
  author={Li, Yikuan and Wehbe, Ramsey M and Ahmad, Faraz S and Wang, Hanyin and Luo, Yuan},
  journal={Journal of the American Medical Informatics Association},
  volume={30},
  number={2},
  pages={340--347},
  year={2023},
  publisher={Oxford University Press}
}

問題諮詢

如有問題，請發送郵件至 yikuanli2018@u.northwestern.edu。