Radbert RoBERTa 4m

🚀 RadBERT-RoBERTa-4m

このモデルは、米国VA病院の400万件の匿名化された医療レポートを使って学習されたRadBERTモデルのバリエーションです。BioBERT、Clinical-BERT、BLUE-BERT、BioMed-RoBERTaなどの従来の医療分野モデルよりも、医療言語理解性能が向上しています。

モデルの性能は以下の3つのタスクで評価されています。 (a) 異常文分類：放射線学レポート内の文章を異常所見または正常所見として分類する。 (b) レポートコーディング：与えられた放射線学レポートに対して、5つの異なるコーディングシステムで診断コードを割り当てる。 (c) レポート要約：放射線学レポートの所見セクションが与えられた場合、所見を要約する重要な文章を抜き出す。

詳細については、こちらの論文を参照してください。 RadBERT: Adapting transformer-based language models to radiology

論文のコードは、このGitHubリポジトリで公開されています。

🚀 クイックスタート

このモデルは、米国VA病院の400万件の匿名化された医療レポートを使って学習されており、医療言語理解性能に優れています。

✨ 主な機能

• 異常文分類、レポートコーディング、レポート要約の3つのタスクで高い性能を発揮します。
• 従来の医療分野モデルよりも医療言語理解性能が向上しています。

💻 使用例

基本的な使用法

from transformers import AutoConfig, AutoTokenizer, AutoModel
config = AutoConfig.from_pretrained('zzxslp/RadBERT-RoBERTa-4m')
tokenizer = AutoTokenizer.from_pretrained('zzxslp/RadBERT-RoBERTa-4m')
model = AutoModel.from_pretrained('zzxslp/RadBERT-RoBERTa-4m', config=config)
text = "Replace me by any medical text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

📚 ドキュメント

BibTeXエントリと引用情報

モデルを使用する場合は、以下の論文を引用してください。

@article{yan2022radbert,
  title={RadBERT: Adapting transformer-based language models to radiology},
  author={Yan, An and McAuley, Julian and Lu, Xing and Du, Jiang and Chang, Eric Y and Gentili, Amilcare and Hsu, Chun-Nan},
  journal={Radiology: Artificial Intelligence},
  volume={4},
  number={4},
  pages={e210258},
  year={2022},
  publisher={Radiological Society of North America}
}