Bio Discharge Summary BERT

🚀 ClinicalBERT - バイオ + 退院要約BERTモデル

Publicly Available Clinical BERT Embeddingsという論文には、4つの独自のClinicalBERTモデルが含まれています。これらのモデルは、BERT-Base (cased_L-12_H-768_A-12) またはBioBERT (BioBERT-Base v1.0 + PubMed 200K + PMC 270K) で初期化され、MIMICのすべてのノートまたは退院要約のみで学習されています。

このモデルカードでは、BioBERT から初期化され、MIMICの退院要約のみで学習された、バイオ + 退院要約BERTモデルについて説明します。

📚 詳細ドキュメント

事前学習データ

Bio_Discharge_Summary_BERT モデルは、ボストンのベス・イスラエル病院のICU患者の電子カルテを含むデータベースである MIMIC III のすべての退院要約を使用して学習されました。MIMICの詳細については、こちら を参照してください。NOTEEVENTS テーブルのすべてのノート（約8.8億語）が含まれています。

モデルの事前学習

ノートの前処理

MIMICの各ノートは、まずルールベースのセクション分割器を使用してセクションに分割されました（例えば、退院要約ノートは「現病歴」、「家族歴」、「入院経過概要」などのセクションに分割されます）。その後、各セクションはSciSpacy (en core sci md トークナイザー) を使用して文に分割されました。

事前学習手順

このモデルは、GoogleのBERTリポジトリ のコードを使用して、GeForce GTX TITAN X 12 GB GPU上で学習されました。モデルパラメータはBioBERT (BioBERT-Base v1.0 + PubMed 200K + PMC 270K) で初期化されました。

事前学習のハイパーパラメータ

事前学習には、バッチサイズ32、最大シーケンス長128、学習率5 · 10−5 を使用しました。MIMICのすべてのノートで学習されたモデルは、150,000ステップ学習されました。異なるマスクで入力データを複製するためのdup factorは5に設定されました。その他のすべてのデフォルトパラメータが使用されました（具体的には、マスク言語モデルの確率 = 0.15、シーケンスあたりの最大予測数 = 20）。

💻 使用例

基本的な使用法

# Load the model via the transformers library
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_Discharge_Summary_BERT")
model = AutoModel.from_pretrained("emilyalsentzer/Bio_Discharge_Summary_BERT")

📄 ライセンス

このモデルはMITライセンスの下で公開されています。

🔗 その他の情報

追加の詳細やNLIおよびNERタスクでのパフォーマンスについては、元の論文 Publicly Available Clinical BERT Embeddings (NAACL Clinical NLP Workshop 2019) を参照してください。

❓ 質問がある場合

clinicalBERTリポジトリ でGitHubのissueを投稿するか、emilya@mit.eduまでメールでお問い合わせください。