Clinical Longformer

🚀 临床长序列模型（Clinical-Longformer）

Clinical-Longformer 是 Longformer 的临床知识增强版本，它使用 MIMIC - III 临床笔记进行了进一步预训练。该模型允许最多 4096 个标记作为输入。在 10 个基准数据集上，Clinical-Longformer 的表现始终比 ClinicalBERT 高出至少 2%。这些下游实验广泛涵盖了命名实体识别（NER）、问答（QA）、自然语言推理（NLI）和文本分类任务。更多详细信息，请参考我们的论文。我们还在 Clinical-BigBIrd 提供了一个姊妹模型。

✨ 主要特性

• 基于 Longformer 进行临床知识增强，使用 MIMIC - III 临床笔记进一步预训练。
• 支持最多 4096 个标记的输入。
• 在多个基准数据集上表现优于 ClinicalBERT。
• 下游实验覆盖多种自然语言处理任务。

📦 安装指南

此部分文档未提及具体安装命令，故跳过。

💻 使用示例

基础用法

直接从 Transformers 库加载模型：

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("yikuan8/Clinical-Longformer")
model = AutoModelForMaskedLM.from_pretrained("yikuan8/Clinical-Longformer")

📚 详细文档

预训练

我们从 Longformer 基础版本的预训练权重初始化 Clinical-Longformer。预训练过程在 6 个 32GB 的 Tesla V100 GPU 上并行分布。启用了 FP16 精度以加速训练。我们以 6×3 的批量大小对 Clinical-Longformer 进行了 200,000 步的预训练。两个模型的学习率均为 3e - 5。整个预训练过程耗时超过 2 周。

引用

如果您发现我们的模型有帮助，请考虑引用：

@article{li2023comparative,
  title={A comparative study of pretrained language models for long clinical text},
  author={Li, Yikuan and Wehbe, Ramsey M and Ahmad, Faraz S and Wang, Hanyin and Luo, Yuan},
  journal={Journal of the American Medical Informatics Association},
  volume={30},
  number={2},
  pages={340--347},
  year={2023},
  publisher={Oxford University Press}
}

问题咨询

如有问题，请发送邮件至 yikuanli2018@u.northwestern.edu。