Clinical ModernBERT

🚀 临床现代BERT

临床现代BERT是一款基于编码器的先进Transformer模型，专为生物医学和临床文本处理而设计，能够处理长达8192个标记的上下文。该模型在现代BERT的创新基础上，将上下文窗口扩展到8192个标记，并对特定领域的词汇进行了优化。它旨在生成语义丰富的表示，既能捕捉生物医学文献中细微的句法，又能把握临床叙述中复杂的语义。

🚀 快速开始

预训练的模型权重和分词器工件已提供，便于与您的下游生物医学自然语言处理任务轻松集成：

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained('Simonlee711/Clinical_ModernBERT')
tokenizer = AutoTokenizer.from_pretrained('Simonlee711/Clinical_ModernBERT')

✨ 主要特性

模型概述

以下表格总结了现代BERT的关键架构组件及其优势：

该模型利用了一系列现代架构改进，包括旋转位置嵌入（RoPE）、适用于扩展上下文的接近线性内存使用的快速注意力机制，以及通过集成平滑门控机制增强表示能力的GeGLU激活层。通过从现代BERT基础检查点初始化，并在约4000万篇PubMed摘要和MIMIC - IV临床笔记上进行特定领域的预训练，临床现代BERT针对检索增强生成、细粒度文本分类和特定领域实体提取等任务进行了优化。

预训练优化

掩码语言模型（MLM）设置

临床现代BERT采用多阶段掩码语言模型（MLM）策略进行预训练。自定义的整理器会动态调整掩码概率，从训练开始时的30%逐渐降低到15%，以强调医学相关标记（如药物名称、程序代码）。MLM目标定义为：

$$ \mathcal{L}{\text{MLM}} = - \sum{i \in \mathcal{M}} \log p_\theta(x_i \mid \tilde{x}), $$

其中，模型根据上下文预测掩码标记。下表总结了MLM评估框架，但未详细列出具体指标得分：

这种结构体现了评估模型恢复掩码标记的细致程度，较高的Top - (k)值反映了更广泛的词汇召回能力，并且该模型在预测中始终将临床相关标记排在前列。

📚 详细文档

预期用途

临床现代BERT非常适合需要深入理解生物医学语言的任务。它在临床信息检索、叙述分类和结构化医学编码方面特别有价值。研究人员和从业者可以针对特定的下游应用对该模型进行微调，如电子健康记录分析、临床决策支持系统和循证医学文献检索。

引用和预训练源代码

源代码可在此处找到：临床现代BERT GitHub

引用模型

@misc{simon_lee_2025,
	author       = { Simon Lee },
	title        = { Clinical_ModernBERT (Revision 24e72d6) },
	year         = 2025,
	url          = { https://huggingface.co/Simonlee711/Clinical_ModernBERT },
	doi          = { 10.57967/hf/4999 },
	publisher    = { Hugging Face }
}

引用论文

@article{lee2025clinical,
  title={Clinical ModernBERT: An efficient and long context encoder for biomedical text},
  author={Lee, Simon A and Wu, Anthony and Chiang, Jeffrey N},
  journal={arXiv preprint arXiv:2504.03964},
  year={2025}
}

问题咨询

如有问题，请发送邮件至：simonlee711@g.ucla.edu

📄 许可证

本项目采用MIT许可证。