Linkbert Base

🚀 LinkBERT-base

LinkBERT-base 是一個基於英文維基百科文章並結合超鏈接信息進行預訓練的模型。它在論文 LinkBERT: Pretraining Language Models with Document Links (ACL 2022) 中被提出。代碼和數據可在 此倉庫 中獲取。該模型能助力自然語言處理任務，提升對知識密集型和跨文檔任務的處理能力。

✨ 主要特性

• 融合文檔鏈接信息：LinkBERT 是一種基於 Transformer 編碼器（類似 BERT）的模型，在大量文檔語料庫上進行預訓練。它是對 BERT 的改進，新增了捕獲超鏈接和引用鏈接等 文檔鏈接 的功能，以融合跨多個文檔的知識。具體而言，除了單個文檔外，它還通過將鏈接文檔輸入到同一語言模型上下文中進行預訓練。
• 廣泛的適用性：LinkBERT 可以直接替代 BERT 使用。它在一般語言理解任務（如文本分類）中表現更優，尤其在 知識密集型 任務（如問答）和 跨文檔 任務（如閱讀理解、文檔檢索）中效果顯著。

🚀 快速開始

預期用途與限制

該模型可通過在下游任務（如問答、序列分類和標記分類）上進行微調來使用。你也可以使用原始模型進行特徵提取（即為輸入文本獲取嵌入表示）。

如何使用

基礎用法

要在 PyTorch 中使用該模型獲取給定文本的特徵，請參考以下代碼：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/LinkBERT-base')
model = AutoModel.from_pretrained('michiyasunaga/LinkBERT-base')
inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

高級用法

對於微調，你可以使用 此倉庫 或遵循其他 BERT 微調代碼庫。

📚 詳細文檔

評估結果

在下游任務上進行微調時，LinkBERT 取得了以下結果。

通用基準測試（MRQA 和 GLUE）：

引用

如果你在項目中發現 LinkBERT 很有用，請引用以下內容：

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}

📄 許可證

本項目採用 Apache-2.0 許可證。