Clinical BigBird

🚀 Clinical - BigBird

Clinical - BigBird 是 BigBird 的臨床知識增強版本，它使用 MIMIC - III 臨床筆記進行了進一步的預訓練。該模型允許最多 4096 個標記作為輸入。在 10 個基準數據集上，Clinical - BigBird 的表現始終優於 ClinicalBERT。這些下游實驗廣泛涵蓋了命名實體識別（NER）、問答（QA）、自然語言推理（NLI）和文本分類任務。更多詳細信息，請參考我們的論文。 我們還在[Clinical - Longformer](https://huggingface.co/yikuan8/Clinical - Longformer)提供了一個姊妹模型。

✨ 主要特性

• 基於 BigBird 進行臨床知識增強，使用 MIMIC - III 臨床筆記進一步預訓練。
• 支持最多 4096 個標記作為模型輸入。
• 在多個基準數據集上表現優於 ClinicalBERT，適用於多種自然語言處理任務。

📦 安裝指南

本項目可通過 Transformers 庫直接加載模型，無需額外複雜的安裝步驟。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("yikuan8/Clinical-BigBird")
model = AutoModelForMaskedLM.from_pretrained("yikuan8/Clinical-BigBird")

🔧 技術細節

預訓練過程

我們從 BigBird 基礎版本的預訓練權重初始化 Clinical - BigBird。預訓練過程在 6 個 32GB 的 Tesla V100 GPU 上並行進行。啟用了 FP16 精度以加速訓練。我們以 6×2 的批量大小對 Clinical - BigBird 進行了 300000 步的預訓練，學習率為 3e - 5。整個預訓練過程耗時超過 2 周。

📄 許可證

文檔未提及許可證相關信息。

📚 引用說明

如果您發現我們的模型有幫助，請考慮引用：

@article{li2022clinical,
  title={Clinical-Longformer and Clinical-BigBird: Transformers for long clinical sequences},
  author={Li, Yikuan and Wehbe, Ramsey M and Ahmad, Faraz S and Wang, Hanyin and Luo, Yuan},
  journal={arXiv preprint arXiv:2201.11838},
  year={2022}
}

❓ 問題反饋

如有任何問題，請發送郵件至 yikuanli2018@u.northwestern.edu。