Clinical Pubmed Bert Base 512

🚀 ClinicalPubMedBERT

臨床意思決定支援のための事前学習済みモデルです。詳細については、https://github.com/NtaylorOX/Public_Prompt_Mimic_III を参照してください。

🚀 クイックスタート

ClinicalPubMedBERTは、PubMedの抄録で事前学習され、臨床ノート（MIMIC - III）で継続的に事前学習されたBERTモデルです。一般知識のテキストコーパスとの重複が少ない2つのドメイン、電子カルテ（EHRs）と生物医学論文を組み合わせることを試みています。このモデルが、再入院などの臨床関連の下流タスクでより良い結果をもたらすことを期待しています。

このモデルは、MIMICデータセットからランダムにサンプリングされた500000件の臨床ノートで100kステップの学習を行っています。また、言語モデルの一貫性を高めるために全単語マスキングを使用しています。すべてのノートは512トークンの長さに分割されています。

事前学習済みモデル: https://huggingface.co/microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract

✨ 主な機能

• PubMedの抄録と臨床ノートで事前学習されたBERTモデル。
• 全単語マスキングを使用して言語モデルの一貫性を高めています。
• 臨床関連の下流タスクでの性能向上を目指しています。

📦 インストール

原文書にインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

# 例1
Due to shortness of breath, the patient is diagnosed with [MASK], and other respiratory problems.

# 例2
Due to high blood sugar, and very low blood pressure, the patient is diagnosed with [MASK].

📚 ドキュメント

詳細については、https://github.com/NtaylorOX/Public_Prompt_Mimic_III を参照してください。

🔧 技術詳細

このモデルは、MIMICデータセットからランダムにサンプリングされた500000件の臨床ノートで100kステップの学習を行っています。また、言語モデルの一貫性を高めるために全単語マスキングを使用しています。すべてのノートは512トークンの長さに分割されています。事前学習済みモデルは、https://huggingface.co/microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract から取得できます。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。