Clinical ModernBERT

🚀 臨床現代BERT

臨床現代BERT是一款基於編碼器的先進Transformer模型，專為生物醫學和臨床文本處理而設計，能夠處理長達8192個標記的上下文。該模型在現代BERT的創新基礎上，將上下文窗口擴展到8192個標記，並對特定領域的詞彙進行了優化。它旨在生成語義豐富的表示，既能捕捉生物醫學文獻中細微的句法，又能把握臨床敘述中複雜的語義。

🚀 快速開始

預訓練的模型權重和分詞器工件已提供，便於與您的下游生物醫學自然語言處理任務輕鬆集成：

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained('Simonlee711/Clinical_ModernBERT')
tokenizer = AutoTokenizer.from_pretrained('Simonlee711/Clinical_ModernBERT')

✨ 主要特性

模型概述

以下表格總結了現代BERT的關鍵架構組件及其優勢：

該模型利用了一系列現代架構改進，包括旋轉位置嵌入（RoPE）、適用於擴展上下文的接近線性內存使用的快速注意力機制，以及通過集成平滑門控機制增強表示能力的GeGLU激活層。通過從現代BERT基礎檢查點初始化，並在約4000萬篇PubMed摘要和MIMIC - IV臨床筆記上進行特定領域的預訓練，臨床現代BERT針對檢索增強生成、細粒度文本分類和特定領域實體提取等任務進行了優化。

預訓練優化

掩碼語言模型（MLM）設置

臨床現代BERT採用多階段掩碼語言模型（MLM）策略進行預訓練。自定義的整理器會動態調整掩碼概率，從訓練開始時的30%逐漸降低到15%，以強調醫學相關標記（如藥物名稱、程序代碼）。MLM目標定義為：

$$ \mathcal{L}{\text{MLM}} = - \sum{i \in \mathcal{M}} \log p_\theta(x_i \mid \tilde{x}), $$

其中，模型根據上下文預測掩碼標記。下表總結了MLM評估框架，但未詳細列出具體指標得分：

這種結構體現了評估模型恢復掩碼標記的細緻程度，較高的Top - (k)值反映了更廣泛的詞彙召回能力，並且該模型在預測中始終將臨床相關標記排在前列。

📚 詳細文檔

預期用途

臨床現代BERT非常適合需要深入理解生物醫學語言的任務。它在臨床信息檢索、敘述分類和結構化醫學編碼方面特別有價值。研究人員和從業者可以針對特定的下游應用對該模型進行微調，如電子健康記錄分析、臨床決策支持系統和循證醫學文獻檢索。

引用和預訓練源代碼

源代碼可在此處找到：臨床現代BERT GitHub

引用模型

@misc{simon_lee_2025,
	author       = { Simon Lee },
	title        = { Clinical_ModernBERT (Revision 24e72d6) },
	year         = 2025,
	url          = { https://huggingface.co/Simonlee711/Clinical_ModernBERT },
	doi          = { 10.57967/hf/4999 },
	publisher    = { Hugging Face }
}

引用論文

@article{lee2025clinical,
  title={Clinical ModernBERT: An efficient and long context encoder for biomedical text},
  author={Lee, Simon A and Wu, Anthony and Chiang, Jeffrey N},
  journal={arXiv preprint arXiv:2504.03964},
  year={2025}
}

問題諮詢

如有問題，請發送郵件至：simonlee711@g.ucla.edu

📄 許可證

本項目採用MIT許可證。