Biomednlp BiomedBERT Base Uncased Abstract Fulltext

🚀 MSR BiomedBERT (摘要 + 全文)

MSR BiomedBERT是專門為生物醫學領域設計的預訓練語言模型。它基於大量生物醫學文獻進行預訓練，在眾多生物醫學自然語言處理任務中取得了優異的成績，為生物醫學研究提供了強大的語言處理能力。

✨ 主要特性

• 該模型曾被命名為 "PubMedBERT (摘要 + 全文)"。你可以採用新的模型名稱 "microsoft/BiomedNLP - BiomedBERT - base - uncased - abstract - fulltext"，或者如果你需要使用舊名稱，可將 transformers 庫更新到4.22+版本。
• 預訓練大型神經語言模型（如BERT）在許多自然語言處理（NLP）任務中取得了顯著進展。不過，大多數預訓練工作集中在通用領域語料庫，如新聞和網絡文本。普遍認為，即使是特定領域的預訓練也可以從通用領域語言模型開始受益。近期研究表明，對於像生物醫學這樣有大量無標籤文本的領域，從頭開始預訓練語言模型比在通用領域語言模型上繼續預訓練能帶來顯著提升。
• BiomedBERT是使用來自 PubMed 的 摘要 和 PubMedCentral 的 全文 文章從頭開始預訓練的。該模型在許多生物醫學NLP任務中達到了最先進的性能，目前在 生物醫學語言理解與推理基準測試 中保持領先分數。

📚 詳細文檔

引用信息

如果你在研究中發現BiomedBERT很有用，請引用以下論文：

@misc{pubmedbert,
  author = {Yu Gu and Robert Tinn and Hao Cheng and Michael Lucas and Naoto Usuyama and Xiaodong Liu and Tristan Naumann and Jianfeng Gao and Hoifung Poon},
  title = {Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing},
  year = {2020},
  eprint = {arXiv:2007.15779},
}

可視化工具

點擊下面的按鈕，可使用ExBERT可視化工具查看模型：

📄 許可證

本模型採用MIT許可證。