Biomednlp BiomedBERT Base Uncased Abstract

🚀 MSR BiomedBERT (僅摘要)

MSR BiomedBERT是一個專門為生物醫學領域自然語言處理任務而設計的預訓練語言模型。它通過從生物醫學文獻摘要中從頭開始預訓練，在多個生物醫學NLP任務中取得了最先進的性能。

🚀 快速開始

本模型之前名為 "PubMedBERT (abstracts)"。如果你需要使用舊名稱，你可以採用新的模型名稱 "microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract"，或者將你的 transformers 庫更新到4.22+版本。

預訓練大型神經語言模型（如BERT）在許多自然語言處理（NLP）任務中取得了顯著的進展。然而，大多數預訓練工作集中在通用領域的語料庫上，如新聞和網絡文本。一個普遍的假設是，即使是特定領域的預訓練也可以從通用領域的語言模型開始受益。近期的研究表明，對於有大量無標籤文本的領域（如生物醫學），從頭開始預訓練語言模型比在通用領域語言模型上進行持續預訓練能帶來更大的收益。

這個BiomedBERT是使用來自 PubMed 的 摘要 從頭開始預訓練的。該模型在多個生物醫學NLP任務中達到了最先進的性能，如 生物醫學語言理解與推理基準 所示。

📄 許可證

本項目採用MIT許可證。

📚 詳細文檔

引用

如果你在研究中發現BiomedBERT很有用，請引用以下論文：

@misc{pubmedbert,
  author = {Yu Gu and Robert Tinn and Hao Cheng and Michael Lucas and Naoto Usuyama and Xiaodong Liu and Tristan Naumann and Jianfeng Gao and Hoifung Poon},
  title = {Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing},
  year = {2020},
  eprint = {arXiv:2007.15779},
}

點擊下面的按鈕，使用ExBERT可視化工具探索模型：

信息表格