Linkbert Large

🚀 LinkBERT-large

LinkBERT-large 是一个基于英文维基百科文章以及超链接信息进行预训练的模型。它在论文 LinkBERT: Pretraining Language Models with Document Links (ACL 2022) 中被提出。代码和数据可在 此仓库 中获取。

✨ 主要特性

• 融合文档链接信息：LinkBERT 是一种基于大型文档语料库进行预训练的 Transformer 编码器（类似 BERT）模型。它是对 BERT 的改进，能够捕捉超链接和引用链接等文档链接，从而融入跨多个文档的知识。具体而言，除了单个文档外，它还通过将链接的文档输入到同一个语言模型上下文中进行预训练。
• 广泛的适用性：可以直接替代 BERT 使用。在一般语言理解任务（如文本分类）中表现更优，尤其在知识密集型任务（如问答）和跨文档任务（如阅读理解、文档检索）中效果显著。

🚀 快速开始

该模型可通过在下游任务上进行微调使用，如下游任务包括问答、序列分类和标记分类等。你也可以使用原始模型进行特征提取（即为输入文本获取嵌入表示）。

💻 使用示例

基础用法

要在 PyTorch 中使用该模型获取给定文本的特征，可以使用以下代码：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('michiyasunaga/LinkBERT-large')
model = AutoModel.from_pretrained('michiyasunaga/LinkBERT-large')
inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

高级用法

对于微调，你可以使用 此仓库 或遵循其他任何 BERT 微调代码库。

📚 详细文档

模型描述

LinkBERT 是一种基于大型文档语料库进行预训练的 Transformer 编码器（类似 BERT）模型。它是对 BERT 的改进，能够捕捉超链接和引用链接等文档链接，从而融入跨多个文档的知识。具体而言，除了单个文档外，它还通过将链接的文档输入到同一个语言模型上下文中进行预训练。

LinkBERT 可以直接替代 BERT 使用。在一般语言理解任务（如文本分类）中表现更优，尤其在知识密集型任务（如问答）和跨文档任务（如阅读理解、文档检索）中效果显著。

预期用途与限制

该模型可通过在下游任务（如问答、序列分类和标记分类）上进行微调使用。你也可以使用原始模型进行特征提取（即为输入文本获取嵌入表示）。

评估结果

在下游任务上进行微调时，LinkBERT 取得了以下结果：

通用基准测试（MRQA 和 GLUE）：

引用

如果你在项目中发现 LinkBERT 很有用，请引用以下内容：

@InProceedings{yasunaga2022linkbert,
  author =  {Michihiro Yasunaga and Jure Leskovec and Percy Liang},
  title =   {LinkBERT: Pretraining Language Models with Document Links},
  year =    {2022},  
  booktitle = {Association for Computational Linguistics (ACL)},  
}

📄 许可证

本项目采用 Apache-2.0 许可证。