Biomednlp BiomedBERT Large Uncased Abstract

🚀 MSR BiomedBERT-large (僅摘要)

本模型是一個預訓練的大型神經語言模型，基於生物醫學領域的摘要數據訓練，能在生物醫學自然語言處理任務中取得顯著效果，為生物醫學研究提供有力支持。

🚀 快速開始

本模型之前名為 "PubMedBERT large (abstracts)"。若需使用舊名稱，你可以採用新的模型名稱 "microsoft/BiomedNLP-BiomedBERT-large-uncased-abstract"，或者將你的 transformers 庫更新到 4.22+ 版本。

✨ 主要特性

預訓練大型神經語言模型（如 BERT）在許多自然語言處理（NLP）任務中取得了顯著進展。不過，大多數預訓練工作集中在通用領域語料庫，如新聞和網絡文本。普遍認為，即使是特定領域的預訓練也能從通用領域語言模型開始獲益。近期研究表明，對於生物醫學等擁有大量無標籤文本的領域，從頭開始預訓練語言模型比在通用領域語言模型上進行持續預訓練能帶來更大的提升。後續研究探索了更大的模型規模及其對 BLURB 基準測試性能的影響。

本 BiomedBERT 模型是使用 PubMed 中的 摘要 數據從頭開始預訓練的。

📚 詳細文檔

引用信息

如果你在研究中發現 BiomedBERT 很有用，請引用以下論文：

@misc{https://doi.org/10.48550/arxiv.2112.07869,
  doi = {10.48550/ARXIV.2112.07869},
  url = {https://arxiv.org/abs/2112.07869},
  author = {Tinn, Robert and Cheng, Hao and Gu, Yu and Usuyama, Naoto and Liu, Xiaodong and Naumann, Tristan and Gao, Jianfeng and Poon, Hoifung},
  keywords = {Computation and Language (cs.CL), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences},
  title = {Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing},
  publisher = {arXiv},
  year = {2021},
  copyright = {arXiv.org perpetual, non-exclusive license}
}

可視化工具

點擊下面的按鈕可以使用 ExBERT 可視化工具：

📄 許可證

本模型採用 MIT 許可證。