Luke Japanese Base Lite

🚀 luke-japanese

luke-japanese 是 LUKE（基於知識嵌入的語言理解模型，即 Language Understanding with Knowledge-based Embeddings）的日語版本，LUKE 是一種預訓練的“知識增強型”單詞和實體的上下文表示模型。LUKE 將給定文本中的單詞和實體視為獨立的標記，並輸出它們的上下文表示。更多詳細信息和更新，請參考我們的 GitHub 倉庫。

該模型是一個輕量級版本，不包含維基百科實體嵌入。如果你的任務需要將維基百科實體作為輸入，請使用 完整版。

✨ 主要特性

• 知識增強：結合了知識信息，提升對單詞和實體的理解。
• 獨立處理：將單詞和實體作為獨立標記處理，輸出上下文表示。
• 輕量級版本：不包含維基百科實體嵌入，適用於部分場景。

📚 詳細文檔

在 JGLUE 上的實驗結果

在 JGLUE 開發集上的評估實驗結果如下：

基線分數取自 此處。

引用信息

如果你使用了該模型，請引用以下文獻：

@inproceedings{yamada2020luke,
  title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention},
  author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto},
  booktitle={EMNLP},
  year={2020}
}

📄 許可證

本項目採用 Apache - 2.0 許可證。