Clinical Longformer

🚀 Clinical-Longformer

Clinical-Longformerは、Longformerの臨床知識を強化したバージョンで、MIMIC - IIIの臨床ノートを使用してさらに事前学習されています。このモデルは最大4,096トークンを入力として受け付けます。Clinical-Longformerは、10のベースラインデータセットにおいて、ClinicalBERTを少なくとも2％上回る性能を安定して発揮します。これらの下流実験は、固有表現抽出（NER）、質問応答（QA）、自然言語推論（NLI）、およびテキスト分類タスクを幅広くカバーしています。詳細については、当社の論文を参照してください。また、Clinical - BigBIrdに姉妹モデルも提供しています。

🚀 クイックスタート

Clinical-Longformerは、臨床知識を強化したLongformerのバージョンで、MIMIC - IIIの臨床ノートを用いて事前学習されています。入力として最大4,096トークンをサポートし、複数の下流タスクでClinicalBERTを上回る性能を示します。

✨ 主な機能

• 臨床知識を強化したLongformerのバージョンで、MIMIC - IIIの臨床ノートを使用して事前学習。
• 最大4,096トークンの入力をサポート。
• 10のベースラインデータセットにおいて、ClinicalBERTを少なくとも2％上回る性能を安定して発揮。
• 下流実験が、固有表現抽出（NER）、質問応答（QA）、自然言語推論（NLI）、およびテキスト分類タスクを幅広くカバー。

📦 インストール

このモデルは、Transformersライブラリを通じて直接ロードできます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("yikuan8/Clinical-Longformer")
model = AutoModelForMaskedLM.from_pretrained("yikuan8/Clinical-Longformer")

📚 ドキュメント

事前学習

Clinical-Longformerは、Longformerのベースバージョンの事前学習済みの重みから初期化されました。事前学習プロセスは、6台の32GB Tesla V100 GPUに並列分散されました。学習を加速するためにFP16精度が有効化されました。Clinical-Longformerは、バッチサイズ6×3で200,000ステップ事前学習されました。両モデルの学習率は3e - 5でした。事前学習全体には2週間以上かかりました。

引用

もし当社のモデルが役に立った場合は、これを引用していただけると幸いです。

@article{li2023comparative,
  title={A comparative study of pretrained language models for long clinical text},
  author={Li, Yikuan and Wehbe, Ramsey M and Ahmad, Faraz S and Wang, Hanyin and Luo, Yuan},
  journal={Journal of the American Medical Informatics Association},
  volume={30},
  number={2},
  pages={340--347},
  year={2023},
  publisher={Oxford University Press}
}

質問

質問がある場合は、yikuanli2018@u.northwestern.eduまでメールしてください。