Mluke Base Lite

🚀 mLUKE

mLUKE（多語言LUKE）是LUKE的多語言擴展版本。它可用於多種自然語言處理任務，如命名實體識別、關係分類和問答系統等，為多語言場景下的文本處理提供了強大的支持。

請查看官方倉庫以獲取更多詳細信息和更新內容。

🚀 快速開始

本模型是具有12個隱藏層、隱藏層大小為768的mLUKE基礎模型。該模型的參數總數為2.79億。模型使用XLM - RoBERTa（基礎版）的權重進行初始化，並使用2020年12月版的24種語言的維基百科數據進行訓練。

此模型是studio - ousia/mluke - base的輕量級版本，不包含維基百科實體嵌入，僅包含諸如[MASK]之類的特殊實體。

⚠️ 重要提示

當你使用默認配置從AutoModel.from_pretrained加載模型時，會看到以下警告：

Some weights of the model checkpoint at studio-ousia/mluke-base-lite were not used when initializing LukeModel: [
'luke.encoder.layer.0.attention.self.w2e_query.weight', 'luke.encoder.layer.0.attention.self.w2e_query.bias', 
'luke.encoder.layer.0.attention.self.e2w_query.weight', 'luke.encoder.layer.0.attention.self.e2w_query.bias', 
'luke.encoder.layer.0.attention.self.e2e_query.weight', 'luke.encoder.layer.0.attention.self.e2e_query.bias', 
...]

這些權重是用於實體感知注意力的權重（如LUKE論文中所述）。這是預期的情況，因為默認情況下use_entity_aware_attention設置為false，但預訓練權重中包含了這些權重，以防你啟用use_entity_aware_attention並將這些權重加載到模型中。

📄 許可證

本項目採用Apache - 2.0許可證。

📚 引用

如果你發現mLUKE對你的工作有幫助，請引用以下論文：

@inproceedings{ri-etal-2022-mluke,
    title = "m{LUKE}: {T}he Power of Entity Representations in Multilingual Pretrained Language Models",
    author = "Ri, Ryokan  and
      Yamada, Ikuya  and
      Tsuruoka, Yoshimasa",
    booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    year = "2022",
    url = "https://aclanthology.org/2022.acl-long.505",