Luke Large

🚀 LUKE：基於實體感知自注意力機制的深度上下文實體表示

LUKE（基於知識嵌入的語言理解，Language Understanding with Knowledge-based Embeddings）是一種基於Transformer的預訓練詞和實體上下文表示模型。LUKE將給定文本中的詞和實體視為獨立的標記，並輸出它們的上下文表示。它採用了實體感知自注意力機制，這是Transformer自注意力機制的擴展，在計算注意力分數時會考慮標記的類型（詞或實體）。

LUKE在五個流行的自然語言處理基準測試中取得了最先進的成果，包括**SQuAD v1.1（抽取式問答）、CoNLL - 2003（命名實體識別）、ReCoRD（完形填空式問答）、TACRED（關係分類）和Open Entity**（實體類型標註）。

更多詳細信息和更新請查看官方倉庫。

這是LUKE的大模型，有24個隱藏層，隱藏層大小為1024。該模型的總參數數量為4.83億。它使用2018年12月版本的維基百科進行訓練。

✨ 主要特性

• 基於Transformer架構，為詞和實體提供深度上下文表示。
• 採用實體感知自注意力機制，在計算注意力分數時考慮標記類型。
• 在多個自然語言處理基準測試中取得了最先進的成果。

📚 詳細文檔

實驗結果

實驗結果如下：

引用

如果您發現LUKE對您的工作有幫助，請引用以下論文：

@inproceedings{yamada2020luke,
  title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention},
  author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto},
  booktitle={EMNLP},
  year={2020}
}

📄 許可證

本項目採用Apache 2.0許可證。