Clinical ModernBERT

🚀 Clinical ModernBERT

Clinical ModernBERTは、最新のエンコーダベースのトランスフォーマーモデルで、生物医学および臨床テキストの処理に特化しています。最大8192トークンのコンテキスト長を扱うことができます。ModernBERTの革新的なアイデアをベースに、このモデルはコンテキストウィンドウを8,192トークンに拡張し、ドメイン固有の語彙を改良しています。生物医学文献の微妙な構文と臨床記述の複雑な意味を捉えた、意味的に豊かな表現を生成するように設計されています。

🚀 クイックスタート

💻 使用例

事前学習済みのモデルウェイトとトークナイザーのアーティファクトが提供されており、下流の生物医学NLPタスクへの簡単な統合を容易にします。

基本的な使用法

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained('Simonlee711/Clinical_ModernBERT')
tokenizer = AutoTokenizer.from_pretrained('Simonlee711/Clinical_ModernBERT')

📚 ドキュメント

🔍 モデルの概要

以下の表は、ModernBERTの主要なアーキテクチャコンポーネントとその利点をまとめたものです。

このモデルは、回転位置埋め込み（RoPE）、拡張コンテキストでのほぼ線形のメモリ使用のためのフラッシュアテンション、および滑らかなゲート機構を統合することで表現能力を向上させるGeGLU活性化層など、一連の最新のアーキテクチャの進歩を活用しています。ModernBERT-baseのチェックポイントから初期化し、約4000万件のPubMed抄録とMIMIC-IVの臨床ノートを組み合わせたドメイン固有の事前学習を適用することで、Clinical ModernBERTは、検索強化生成、細粒度のテキスト分類、およびドメイン固有のエンティティ抽出などのタスクに最適化されています。

🔧 事前学習の最適化

🔧 マスク言語モデリング（MLM）の設定

Clinical ModernBERTは、多段階のマスク言語モデリング（MLM）戦略を使用して事前学習されています。カスタムコレーターがマスク確率を動的に調整します。学習の過程で30％から15％に減少させ、医学的に関連するトークン（例：薬名、手技コード）に重点を置きます。MLMの目的関数は以下のように定義されます。

$$ \mathcal{L}{\text{MLM}} = - \sum{i \in \mathcal{M}} \log p_\theta(x_i \mid \tilde{x}), $$

ここで、モデルはマスクされたトークンをそのコンテキストから予測します。以下の表は、特定のメトリックスコアを詳細に記載せずに、MLM評価フレームワークをまとめたものです。

この構造は、モデルがマスクされたトークンを回復する粒度を捉えており、より高いトップ-(k)値はより広い語彙の想起を反映し、モデルは臨床的に適切なトークンを予測の中に一貫してランク付けしていることが理解できます。

🔍 想定される用途

Clinical ModernBERTは、生物医学言語の深い理解を必要とするタスクに最適です。臨床情報検索、叙述分類、および構造化医療コーディングに特に有用です。研究者や実務者は、このモデルを電子健康記録分析、臨床決定支援システム、およびエビデンスベースの医学文献検索などの特殊な下流アプリケーションに微調整することができます。

📄 引用と事前学習のソースコード

ソースコードはこちらにあります：Clinical ModernBERT Github

モデルの引用

@misc{simon_lee_2025,
	author       = { Simon Lee },
	title        = { Clinical_ModernBERT (Revision 24e72d6) },
	year         = 2025,
	url          = { https://huggingface.co/Simonlee711/Clinical_ModernBERT },
	doi          = { 10.57967/hf/4999 },
	publisher    = { Hugging Face }
}

論文の引用

@article{lee2025clinical,
  title={Clinical ModernBERT: An efficient and long context encoder for biomedical text},
  author={Lee, Simon A and Wu, Anthony and Chiang, Jeffrey N},
  journal={arXiv preprint arXiv:2504.03964},
  year={2025}
}

❓ 質問

メールアドレス: (simonlee711@g.ucla.edu)

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。