Mluke Base

🚀 mLUKE

mLUKE (マルチリンガルLUKE) は、LUKEのマルチリンガル拡張版です。このモデルは、多言語に対応した自然言語処理タスクに役立ちます。

詳細と更新情報については、公式リポジトリ をご確認ください。

このmLUKEベースモデルは、12の隠れ層と768の隠れサイズを持ちます。このモデルの総パラメータ数は5億8500万 (単語埋め込みとエンコーダが2億7800万、エンティティ埋め込みが3億700万) です。このモデルは、XLM - RoBERTa (ベース) の重みで初期化され、2020年12月版の24言語のWikipediaを使用して学習されました。

🚀 クイックスタート

このセクションでは、mLUKEモデルの基本的な使い方を説明します。

📚 ドキュメント

モデルの詳細

注意事項

⚠️ 重要な注意

AutoModel.from_pretrained を使用してデフォルト設定でモデルをロードすると、次の警告が表示されます。

Some weights of the model checkpoint at studio-ousia/mluke-base-lite were not used when initializing LukeModel: [
'luke.encoder.layer.0.attention.self.w2e_query.weight', 'luke.encoder.layer.0.attention.self.w2e_query.bias', 
'luke.encoder.layer.0.attention.self.e2w_query.weight', 'luke.encoder.layer.0.attention.self.e2w_query.bias', 
'luke.encoder.layer.0.attention.self.e2e_query.weight', 'luke.encoder.layer.0.attention.self.e2e_query.bias', 
...]

これらの重みは、LUKE論文 で説明されているエンティティ認識アテンションの重みです。use_entity_aware_attention はデフォルトで false に設定されているため、この警告は予想されるものです。ただし、事前学習された重みには、use_entity_aware_attention を有効にしてモデルに重みをロードする場合の重みが含まれています。

引用

もしあなたの研究や作業でmLUKEが役立った場合、次の論文を引用してください。

@inproceedings{ri-etal-2022-mluke,
    title = "m{LUKE}: {T}he Power of Entity Representations in Multilingual Pretrained Language Models",
    author = "Ri, Ryokan  and
      Yamada, Ikuya  and
      Tsuruoka, Yoshimasa",
    booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    year = "2022",
    url = "https://aclanthology.org/2022.acl-long.505",

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。