Clinicalbert

🚀 ClinicalBERT

ClinicalBERTは、構築した多様な疾患の12億語の大規模コーパスを持つ多施設データセットで学習されたモデルで、300万件以上の患者レコードからなる大規模な電子カルテ（EHR）コーパスを利用してベース言語モデルを微調整しました。

🚀 クイックスタート

このモデルは、多様な疾患に関する大規模なデータセットで学習され、医療分野のタスクに役立つ情報を提供します。

✨ 主な機能

• 多様な疾患に関する大規模コーパスで学習された医療用言語モデル。
• 300万件以上の患者レコードからなるEHRコーパスを利用して微調整されている。

📦 インストール

このモデルは、transformersライブラリを通じて簡単にロードできます。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("medicalai/ClinicalBERT")
model = AutoModel.from_pretrained("medicalai/ClinicalBERT")

📚 ドキュメント

事前学習データ

ClinicalBERTモデルは、構築した多様な疾患の12億語の大規模コーパスを持つ多施設データセットで学習されました。

モデルの事前学習

事前学習手順

ClinicalBERTはBERTから初期化されました。その後、マスク言語モデルの原則に従って学習が行われます。具体的には、与えられたテキストの中からいくつかのトークンをMASK（マスク用の特殊トークン）に置き換え、モデルに文脈情報を元に元のトークンを予測させます。

事前学習のハイパーパラメータ

事前学習には、バッチサイズを32、最大シーケンス長を256、学習率を5e - 5としています。

📄 ライセンス

原文書にライセンス情報は記載されていません。

📖 引用

このモデルを使用する場合は、以下の論文を引用してください。

1. Wang, G., Liu, X., Ying, Z. et al. Optimized glycemic control of type 2 diabetes with reinforcement learning: a proof-of-concept trial. Nat Med (2023). https://doi.org/10.1038/s41591-023-02552-9
2. Wang, G., Liu, X., Liu, H., Yang, G. et al. A Generalist Medical Language Model for Disease Diagnosis Assistance. Nat Med (2025). https://doi.org/10.1038/s41591-024-03416-6