Clinical BigBird

🚀 Clinical-BigBird

Clinical-BigBirdは、BigBirdの臨床知識を強化したバージョンで、MIMIC-III臨床ノートを使用してさらに事前学習されています。このモデルは最大4,096トークンを入力として受け付けます。Clinical-BigBirdは、10のベースラインデータセットで一貫してClinicalBERTを上回っています。これらの下流実験は、固有表現抽出（NER）、質問応答（QA）、自然言語推論（NLI）、およびテキスト分類タスクを幅広くカバーしています。詳細については、我々の論文を参照してください。 また、Clinical-Longformerに姉妹モデルも提供しています。

🚀 クイックスタート

Clinical-BigBirdは、BigBirdのベースバージョンの事前学習済みの重みから初期化されます。事前学習プロセスは、6台の32GB Tesla V100 GPUに並列分散されました。学習を加速するためにFP16精度が有効にされました。Clinical-BigBirdは、バッチサイズ6×2で300,000ステップの事前学習を行いました。学習率は3e-5でした。事前学習全体には2週間以上かかりました。

✨ 主な機能

• 最大4,096トークンの入力をサポート
• 10のベースラインデータセットでClinicalBERTを上回る性能
• 固有表現抽出（NER）、質問応答（QA）、自然言語推論（NLI）、およびテキスト分類タスクに対応

📦 インストール

このモデルは直接Transformersからロードできます。

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("yikuan8/Clinical-BigBird")
model = AutoModelForMaskedLM.from_pretrained("yikuan8/Clinical-BigBird")

📚 ドキュメント

詳細な情報については、我々の論文を参照してください。

📄 ライセンス

もしこのモデルが役に立った場合は、以下のように引用を考慮してください。

@article{li2022clinical,
  title={Clinical-Longformer and Clinical-BigBird: Transformers for long clinical sequences},
  author={Li, Yikuan and Wehbe, Ramsey M and Ahmad, Faraz S and Wang, Hanyin and Luo, Yuan},
  journal={arXiv preprint arXiv:2201.11838},
  year={2022}
}

❓ 質問

質問がある場合は、yikuanli2018@u.northwestern.eduまでメールを送ってください。