Biolinkbert Large

🚀 BioLinkBERT-large

BioLinkBERT-large模型在PubMed摘要以及引用鏈接信息上進行了預訓練。它在論文LinkBERT: Pretraining Language Models with Document Links (ACL 2022)中被提出。代碼和數據可在此倉庫中獲取。

該模型在多個生物醫學自然語言處理基準測試中取得了最先進的性能，如BLURB和MedQA-USMLE。

✨ 主要特性

• 基於PubMed摘要和引用鏈接信息進行預訓練，能有效利用跨文檔知識。
• 在多個生物醫學NLP基準測試中達到了最先進的性能。
• 可作為BERT的直接替代品，在通用語言理解、知識密集型和跨文檔任務中表現出色。

📦 安裝指南

文檔未提及具體安裝命令，跳過該章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/BioLinkBERT-large')
model = AutoModel.from_pretrained('michiyasunaga/BioLinkBERT-large')
inputs = tokenizer("Sunitinib is a tyrosine kinase inhibitor", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

高級用法

文檔未提及高級用法相關代碼，跳過該部分。

📚 詳細文檔

模型描述

LinkBERT是一種基於Transformer編碼器（類似BERT）的模型，在大量文檔語料庫上進行預訓練。它是對BERT的改進，新增加了捕獲文檔鏈接（如超鏈接和引用鏈接）的功能，以包含跨多個文檔的知識。具體來說，除了單個文檔外，它還通過將鏈接的文檔輸入到同一語言模型上下文中進行預訓練。

LinkBERT可以直接替代BERT。它在通用語言理解任務（如文本分類）中表現更好，並且在知識密集型任務（如問答）和跨文檔任務（如閱讀理解、文檔檢索）中特別有效。

預期用途和限制

該模型可通過在下游任務（如問答、序列分類和標記分類）上進行微調來使用。 你也可以使用原始模型進行特徵提取（即獲取輸入文本的嵌入表示）。

評估結果

在下游任務上進行微調時，LinkBERT取得了以下結果。

生物醫學基準測試（BLURB、MedQA、MMLU等）：BioLinkBERT達到了新的最先進水平。

🔧 技術細節

文檔未提供具體技術實現細節（字數少於50字），跳過該章節。

📄 許可證

本模型使用Apache-2.0許可證。

📖 引用

如果你在項目中發現LinkBERT很有用，請引用以下內容：

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}