Mluke Large

🚀 mLUKE

mLUKE（多言語LUKE）は、LUKEの多言語拡張バージョンです。複数の言語のタスクを処理することができ、固有表現認識、関係分類、質問応答などの分野で重要な役割を果たします。

詳細情報や更新内容については、公式リポジトリをご覧ください。

📦 インストール

モデル情報

これは24個の隠れ層と768の隠れ次元を持つmLUKEの大型モデルです。モデルの総パラメータ数は8.68億です（うち、単語埋め込みとエンコーダ部分が5.61億、エンティティ埋め込み部分が3.07億）。このモデルはXLM - RoBERTa（大型）の重みで初期化され、2020年12月版の24言語のウィキペディアデータを使って学習されています。

⚠️ 重要な注意事項

デフォルト設定でAutoModel.from_pretrainedからモデルをロードすると、以下の警告メッセージが表示されます。

Some weights of the model checkpoint at studio-ousia/mluke-base-lite were not used when initializing LukeModel: [
'luke.encoder.layer.0.attention.self.w2e_query.weight', 'luke.encoder.layer.0.attention.self.w2e_query.bias', 
'luke.encoder.layer.0.attention.self.e2w_query.weight', 'luke.encoder.layer.0.attention.self.e2w_query.bias', 
'luke.encoder.layer.0.attention.self.e2e_query.weight', 'luke.encoder.layer.0.attention.self.e2e_query.bias', 
...]

これらの重みは、エンティティ認識アテンションに使用されるものです（LUKE論文で説明されています）。デフォルトではuse_entity_aware_attentionがfalseに設定されているため、このような警告が表示されますが、事前学習の重みにはこれらの重みが含まれており、use_entity_aware_attentionを有効にしたときにモデルにロードできるようになっています。

📄 ライセンス

このプロジェクトは、Apache - 2.0ライセンスの下で提供されています。

📚 ドキュメント

引用情報

もしmLUKEがあなたの研究に役立った場合は、以下の論文を引用してください。

@inproceedings{ri-etal-2022-mluke,
    title = "m{LUKE}: {T}he Power of Entity Representations in Multilingual Pretrained Language Models",
    author = "Ri, Ryokan  and
      Yamada, Ikuya  and
      Tsuruoka, Yoshimasa",
    booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    year = "2022",
    url = "https://aclanthology.org/2022.acl-long.505",