Biolinkbert Large

🚀 BioLinkBERT-large

BioLinkBERT-large模型在PubMed摘要以及引用链接信息上进行了预训练。它在论文LinkBERT: Pretraining Language Models with Document Links (ACL 2022)中被提出。代码和数据可在此仓库中获取。

该模型在多个生物医学自然语言处理基准测试中取得了最先进的性能，如BLURB和MedQA-USMLE。

✨ 主要特性

• 基于PubMed摘要和引用链接信息进行预训练，能有效利用跨文档知识。
• 在多个生物医学NLP基准测试中达到了最先进的性能。
• 可作为BERT的直接替代品，在通用语言理解、知识密集型和跨文档任务中表现出色。

📦 安装指南

文档未提及具体安装命令，跳过该章节。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/BioLinkBERT-large')
model = AutoModel.from_pretrained('michiyasunaga/BioLinkBERT-large')
inputs = tokenizer("Sunitinib is a tyrosine kinase inhibitor", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

高级用法

文档未提及高级用法相关代码，跳过该部分。

📚 详细文档

模型描述

LinkBERT是一种基于Transformer编码器（类似BERT）的模型，在大量文档语料库上进行预训练。它是对BERT的改进，新增加了捕获文档链接（如超链接和引用链接）的功能，以包含跨多个文档的知识。具体来说，除了单个文档外，它还通过将链接的文档输入到同一语言模型上下文中进行预训练。

LinkBERT可以直接替代BERT。它在通用语言理解任务（如文本分类）中表现更好，并且在知识密集型任务（如问答）和跨文档任务（如阅读理解、文档检索）中特别有效。

预期用途和限制

该模型可通过在下游任务（如问答、序列分类和标记分类）上进行微调来使用。 你也可以使用原始模型进行特征提取（即获取输入文本的嵌入表示）。

评估结果

在下游任务上进行微调时，LinkBERT取得了以下结果。

生物医学基准测试（BLURB、MedQA、MMLU等）：BioLinkBERT达到了新的最先进水平。

🔧 技术细节

文档未提供具体技术实现细节（字数少于50字），跳过该章节。

📄 许可证

本模型使用Apache-2.0许可证。

📖 引用

如果你在项目中发现LinkBERT很有用，请引用以下内容：

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}