Bio ClinicalBERT

🚀 ClinicalBERT - バイオ + 臨床用BERTモデル

論文「Publicly Available Clinical BERT Embeddings」には、4種類の独自のClinicalBERTモデルが含まれています。これらのモデルは、BERT-Base (cased_L-12_H-768_A-12) またはBioBERT (BioBERT-Base v1.0 + PubMed 200K + PMC 270K) で初期化され、MIMICのすべてのノートまたは退院要約のみを使用して学習されています。

このモデルカードでは、BioBERT から初期化され、MIMICのすべてのノートを使用して学習されたバイオ + 臨床用BERTモデルについて説明します。

📦 インストール

transformersライブラリを使用してモデルをロードします。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")
model = AutoModel.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")

✨ 主な機能

このモデルは、臨床データを対象とした自然言語処理タスクに特化しています。MIMIC IIIデータベースの電子カルテデータを用いて学習されており、臨床文書の理解や情報抽出などのタスクに有効です。

📚 ドキュメント

事前学習データ

Bio_ClinicalBERTモデルは、MIMIC III のすべてのノートを使用して学習されました。MIMIC IIIは、マサチューセッツ州ボストンのベス・イスラエル病院の集中治療室 (ICU) 患者の電子カルテを含むデータベースです。MIMICに関する詳細は、こちら を参照してください。NOTEEVENTSテーブルのすべてのノート（約8億8000万語）が学習データに含まれています。

モデルの事前学習

ノートの前処理

MIMICの各ノートは、まずルールベースのセクション分割器を使用してセクションに分割されます（例えば、退院要約ノートは「現病歴」、「家族歴」、「入院経過」などのセクションに分割されます）。次に、各セクションはSciSpacy (en_core_sci_mdトークナイザー) を使用して文に分割されます。

事前学習手順

モデルは、GoogleのBERTリポジトリ のコードを使用して、GeForce GTX TITAN X 12 GB GPU上で学習されました。モデルパラメータは、BioBERT (BioBERT-Base v1.0 + PubMed 200K + PMC 270K) で初期化されました。

事前学習のハイパーパラメータ

事前学習には、バッチサイズ32、最大シーケンス長128、学習率5 · 10−5を使用しました。MIMICのすべてのノートを使用して学習されたモデルは、150,000ステップで学習されました。異なるマスクで入力データを複製するためのdup factorは5に設定されました。その他のデフォルトパラメータはすべて使用されました（具体的には、マスク言語モデルの確率 = 0.15、シーケンスあたりの最大予測数 = 20）。

🔧 技術詳細

このモデルの詳細や、自然言語推論 (NLI) および固有表現抽出 (NER) タスクでの性能については、元の論文「Publicly Available Clinical BERT Embeddings」 (NAACL Clinical NLP Workshop 2019) を参照してください。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。

💡 問い合わせ

質問がある場合は、clinicalBERTリポジトリ でGitHubのissueを投稿するか、ealsentzer@stanford.eduにメールを送信してください。