Mluke Base Lite

🚀 mLUKE

mLUKE (multilingual LUKE) は、LUKEの多言語拡張版です。このモデルは、名前付きエンティティ認識、関係分類、質問応答などのタスクに役立ちます。

詳細と更新情報については、公式リポジトリをご確認ください。

このモデルは12の隠れ層と768の隠れサイズを持つmLUKEベースモデルです。パラメータの総数は2億7900万です。このモデルはXLM - RoBERTa(base)の重みで初期化され、2020年12月版の24言語のWikipediaを使用して学習されました。

このモデルは studio - ousia/mluke - base の軽量版で、Wikipediaのエンティティ埋め込みは含まれず、[MASK] などの特殊エンティティのみを持っています。

🚀 クイックスタート

このセクションでは、mLUKEモデルの概要とその特徴について説明します。

✨ 主な機能

• 多言語対応: 複数の言語で動作します。
• 軽量版: Wikipediaのエンティティ埋め込みを持たない軽量モデルです。

🔧 技術詳細

このモデルは12の隠れ層と768の隠れサイズを持ち、合計279Mのパラメータを持っています。モデルはXLM - RoBERTa(base)の重みで初期化され、2020年12月版の24言語のWikipediaを使用して学習されました。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

⚠️ 重要な注意事項

AutoModel.from_pretrained を使用してデフォルト設定でモデルを読み込むと、次の警告が表示されます。

Some weights of the model checkpoint at studio-ousia/mluke-base-lite were not used when initializing LukeModel: [
'luke.encoder.layer.0.attention.self.w2e_query.weight', 'luke.encoder.layer.0.attention.self.w2e_query.bias', 
'luke.encoder.layer.0.attention.self.e2w_query.weight', 'luke.encoder.layer.0.attention.self.e2w_query.bias', 
'luke.encoder.layer.0.attention.self.e2e_query.weight', 'luke.encoder.layer.0.attention.self.e2e_query.bias', 
...]

これらの重みは、エンティティ認識に関する注意機構の重みです（LUKE論文で説明されています）。デフォルトでは use_entity_aware_attention が false に設定されているため、この警告は正常な動作です。ただし、use_entity_aware_attention を有効にして重みをモデルに読み込む場合に備えて、事前学習された重みにはこれらの重みが含まれています。

引用

もしmLUKEがあなたの研究に役立った場合、次の論文を引用してください。

@inproceedings{ri-etal-2022-mluke,
    title = "m{LUKE}: {T}he Power of Entity Representations in Multilingual Pretrained Language Models",
    author = "Ri, Ryokan  and
      Yamada, Ikuya  and
      Tsuruoka, Yoshimasa",
    booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    year = "2022",
    url = "https://aclanthology.org/2022.acl-long.505",