Bioclinical ModernBERT Base

🚀 生物临床现代BERT

生物临床现代BERT有两种规格可供选择：基础版（1.5亿参数）和大型版（3.96亿参数）。模型训练的检查点可在此处找到，我们的代码可在GitHub仓库中获取。

🚀 快速开始

BioClinical ModernBERT可直接通过transformers库（版本需从v4.48.0开始）使用：

pip install -U transformers>=4.48.0

由于BioClinical ModernBERT是一个掩码语言模型（MLM），你可以使用fill-mask管道或通过AutoModelForMaskedLM加载它。若要将BioClinical ModernBERT用于分类、检索或问答等下游任务，请按照标准的BERT微调方法进行微调。

⚠️ 重要提示

如果你的GPU支持，我们建议使用Flash Attention 2来运行BioClinical ModernBERT，以达到最高效率。请按以下方式安装Flash Attention，然后正常使用该模型：

pip install flash-attn

✨ 主要特性

BioClinical ModernBERT是一个领域自适应编码器，它基于ModernBERT的基础版和大型版构建，融入了长上下文处理能力，并在生物医学和临床自然语言处理的速度和性能方面有显著提升。BioClinical ModernBERT在迄今为止最大的生物医学和临床语料库上进行训练，包含超过535亿个标记。它通过利用来自不同机构、领域和地理区域的20个数据集，而不是依赖单一来源的数据，解决了先前临床编码器的一个关键局限性。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
model_id = "thomas-sounack/BioClinical-ModernBERT-base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id)
text = "Mitochondria is the powerhouse of the [MASK]."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token:  cell

高级用法

import torch
from transformers import pipeline
from pprint import pprint
pipe = pipeline(
    "fill-mask",
    model="thomas-sounack/BioClinical-ModernBERT-base",
    torch_dtype=torch.bfloat16,
)
input_text = "[MASK] is a disease caused by an uncontrolled division of abnormal cells in a part of the body."
results = pipe(input_text)
pprint(results)

💡 使用建议

BioClinical ModernBERT与ModernBERT类似，不像一些早期的BERT模型那样使用标记类型ID。大多数下游使用与Hugging Face Hub上的标准BERT模型相同，只是你可以省略token_type_ids参数。

📚 详细文档

📦 训练数据

BioClinical ModernBERT在从PubMed和PMC收集的507亿个生物医学文本标记以及来自20个数据集的28亿个临床文本标记上进行训练，具体数据集详情如下表所示：

🔧 训练方法

BioClinical ModernBERT基础版分两个阶段进行训练。该模型从ModernBERT基础版的最后一个稳定阶段检查点初始化，并使用相同的超参数进行训练：学习率为3e-4，批量大小为72。

• 阶段1：在来自PubMed、PMC和20个临床数据集的1605亿个标记上进行训练。在此阶段，学习率保持不变，掩码概率设置为30%。
• 阶段2：仅在20个临床数据集上进行训练。掩码概率降低到15%。模型以1-sqrt学习率衰减进行3个周期的训练。

🔍 评估结果

📄 许可证

我们根据MIT许可证发布BioClinical ModernBERT基础版和大型版的模型权重以及训练检查点。

📚 引用

如果您在工作中使用了BioClinical ModernBERT，请引用我们的预印本：

@misc{sounack2025bioclinicalmodernbertstateoftheartlongcontext,
      title={BioClinical ModernBERT: A State-of-the-Art Long-Context Encoder for Biomedical and Clinical NLP}, 
      author={Thomas Sounack and Joshua Davis and Brigitte Durieux and Antoine Chaffin and Tom J. Pollard and Eric Lehman and Alistair E. W. Johnson and Matthew McDermott and Tristan Naumann and Charlotta Lindvall},
      year={2025},
      eprint={2506.10896},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2506.10896}, 
}