Mluke Base

🚀 mLUKE

mLUKE（多語言LUKE）是LUKE的多語言擴展版本。它支持多種語言，可用於命名實體識別、關係分類和問答等任務。

請訪問官方倉庫以獲取更多詳細信息和更新內容。

本模型是mLUKE基礎模型，具有12個隱藏層，隱藏層大小為768。該模型的參數總數為5.85億（其中詞嵌入和編碼器部分為2.78億，實體嵌入部分為3.07億）。該模型使用XLM - RoBERTa（基礎版）的權重進行初始化，並使用2020年12月版的24種語言的維基百科數據進行訓練。

🚀 快速開始

請參考官方倉庫以獲取使用該模型的詳細步驟。

📚 詳細文檔

模型信息

注意事項

當你使用AutoModel.from_pretrained以默認配置加載模型時，會看到以下警告：

Some weights of the model checkpoint at studio-ousia/mluke-base-lite were not used when initializing LukeModel: [
'luke.encoder.layer.0.attention.self.w2e_query.weight', 'luke.encoder.layer.0.attention.self.w2e_query.bias', 
'luke.encoder.layer.0.attention.self.e2w_query.weight', 'luke.encoder.layer.0.attention.self.e2w_query.bias', 
'luke.encoder.layer.0.attention.self.e2e_query.weight', 'luke.encoder.layer.0.attention.self.e2e_query.bias', 
...]

這些權重是用於實體感知注意力的權重（如LUKE論文中所述）。這是正常現象，因為use_entity_aware_attention默認設置為false，但預訓練權重中包含了這些權重，以便在你啟用use_entity_aware_attention時可以將其加載到模型中。

引用

如果你發現mLUKE對你的工作有幫助，請引用以下論文：

@inproceedings{ri-etal-2022-mluke,
    title = "m{LUKE}: {T}he Power of Entity Representations in Multilingual Pretrained Language Models",
    author = "Ri, Ryokan  and
      Yamada, Ikuya  and
      Tsuruoka, Yoshimasa",
    booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    year = "2022",
    url = "https://aclanthology.org/2022.acl-long.505",

📄 許可證

本項目採用Apache - 2.0許可證。