Biolinkbert Base

🚀 BioLinkBERT-base

BioLinkBERT-base 模型在 PubMed 摘要以及引用鏈接信息上進行了預訓練。它在論文 LinkBERT: Pretraining Language Models with Document Links (ACL 2022) 中被提出。代碼和數據可在 此倉庫 中獲取。

該模型在多個生物醫學自然語言處理基準測試中取得了最先進的性能，如 BLURB 和 MedQA-USMLE。

🚀 快速開始

BioLinkBERT-base 模型可直接使用，也可在下游任務中進行微調以獲得更好的性能。以下是使用該模型獲取給定文本特徵的示例代碼：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/BioLinkBERT-base')
model = AutoModel.from_pretrained('michiyasunaga/BioLinkBERT-base')
inputs = tokenizer("Sunitinib is a tyrosine kinase inhibitor", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

✨ 主要特性

• 預訓練數據豐富：基於 PubMed 摘要和引用鏈接信息進行預訓練，融合多文檔知識。
• 性能卓越：在多個生物醫學自然語言處理基準測試中達到了最先進的性能。
• 應用廣泛：可作為 BERT 的直接替代品，適用於通用語言理解任務、知識密集型任務和跨文檔任務。

📚 詳細文檔

模型描述

LinkBERT 是一種基於大型文檔語料庫進行預訓練的 Transformer 編碼器（類似 BERT）模型。它是 BERT 的改進版本，新增了對 文檔鏈接（如超鏈接和引用鏈接）的捕獲，以納入跨多個文檔的知識。具體而言，除了單個文檔外，它還通過將鏈接的文檔輸入到同一語言模型上下文中進行預訓練。

LinkBERT 可以直接替代 BERT。它在通用語言理解任務（如文本分類）中表現更好，對於 知識密集型 任務（如問答）和 跨文檔 任務（如閱讀理解、文檔檢索）也特別有效。

預期用途和限制

該模型可通過在下游任務（如問答、序列分類和標記分類）上進行微調來使用。您還可以使用原始模型進行特徵提取（即獲取輸入文本的嵌入表示）。

使用方法

要在 PyTorch 中使用該模型獲取給定文本的特徵，請參考以下代碼：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/BioLinkBERT-base')
model = AutoModel.from_pretrained('michiyasunaga/BioLinkBERT-base')
inputs = tokenizer("Sunitinib is a tyrosine kinase inhibitor", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

對於微調，您可以使用 此倉庫 或遵循其他 BERT 微調代碼庫。

評估結果

在下游任務上進行微調時，LinkBERT 取得了以下結果：

生物醫學基準測試（BLURB、MedQA、MMLU 等）：BioLinkBERT 達到了新的最先進水平。

引用

如果您在項目中發現 LinkBERT 很有用，請引用以下內容：

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}

📄 許可證

本項目採用 Apache-2.0 許可證。