Luke Large

🚀 LUKE: エンティティ認識型自己注意機構による深層コンテキスト化エンティティ表現

LUKE (Language Understanding with Knowledge-based Embeddings) は、Transformerに基づく、単語とエンティティの新しい事前学習済みコンテキスト化表現です。LUKEは、与えられたテキスト内の単語とエンティティを独立したトークンとして扱い、それらのコンテキスト化表現を出力します。また、Transformerの自己注意機構を拡張したエンティティ認識型自己注意機構を採用しており、注意スコアを計算する際にトークンのタイプ（単語またはエンティティ）を考慮します。

LUKEは、SQuAD v1.1 （抽出型質問応答）、CoNLL - 2003 （固有表現認識）、ReCoRD （穴埋め型質問応答）、TACRED （関係分類）、Open Entity （エンティティタイピング）といった5つの人気のあるNLPベンチマークで最先端の結果を達成しています。

詳細と更新情報については、公式リポジトリ をご確認ください。

これは、24の隠れ層と1024の隠れサイズを持つLUKEの大規模モデルです。このモデルの総パラメータ数は483Mです。2018年12月版のWikipediaを使用して学習されています。

🚀 クイックスタート

LUKEは、Transformerに基づいた単語とエンティティの事前学習済みコンテキスト化表現で、エンティティ認識型自己注意機構を用いています。様々なNLPタスクで最先端の性能を発揮します。

✨ 主な機能

• 単語とエンティティを独立したトークンとして扱い、コンテキスト化表現を出力します。
• エンティティ認識型自己注意機構を採用し、トークンのタイプを考慮して注意スコアを計算します。
• 抽出型質問応答、固有表現認識、穴埋め型質問応答、関係分類、エンティティタイピングなどのNLPベンチマークで高い性能を発揮します。

📚 ドキュメント

実験結果

実験結果は以下の通りです。

引用

もしあなたの研究にLUKEが役立った場合、以下の論文を引用してください。

@inproceedings{yamada2020luke,
  title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention},
  author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto},
  booktitle={EMNLP},
  year={2020}
}

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。