Luke Base

🚀 LUKE：エンティティ認識型自己注意機構に基づく深層コンテキストエンティティ表現

LUKE（Knowledge-based Embeddingsを用いた言語理解、Language Understanding with Knowledge-based Embeddings）は、Transformerに基づく全く新しい事前学習済みの単語とエンティティのコンテキスト表現モデルです。LUKEは、与えられたテキスト中の単語とエンティティを独立したトークンとして扱い、それらのコンテキスト表現を出力します。これは、Transformerの自己注意機構を拡張したエンティティ認識型自己注意機構を採用しており、注意スコアを計算する際にトークンのタイプ（単語またはエンティティ）を考慮します。

LUKEは、SQuAD v1.1（抽出型質問応答）、CoNLL - 2003（固有表現認識）、ReCoRD（穴埋め式質問応答）、TACRED（関係分類）、Open Entity（エンティティタイプ分類）といった、5つの人気の自然言語処理ベンチマークで最先端の結果を達成しています。

詳細情報と更新については、公式リポジトリをご覧ください。

これはLUKEのベースモデルで、12の隠れ層を持ち、隠れ層のサイズは768です。このモデルの総パラメータ数は2億5300万です。このモデルは、2018年12月版のウィキペディアを使用して学習されています。

✨ 主な機能

• エンティティ認識型自己注意機構を採用し、注意スコアの計算時にトークンタイプを考慮する。
• 複数の自然言語処理ベンチマークで最先端の結果を達成した。

📚 ドキュメント

実験結果

実験結果は以下の通りです：

引用

もしLUKEがあなたの研究に役立った場合、以下の論文を引用してください：

@inproceedings{yamada2020luke,
  title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention},
  author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto},
  booktitle={EMNLP},
  year={2020}
}

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。