Nystromformer 512

🚀 Nyströmformer

Nyströmformer 模型用於掩碼語言建模（MLM），在 BookCorpus 和英文維基百科上針對序列長度 512 進行了預訓練。該模型能夠有效處理自然語言處理任務，在長序列處理上具有良好的擴展性。

🚀 快速開始

模型介紹

Nyströmformer 模型由 Yunyang Xiong、Zhanpeng Zeng、Rudrasis Chakraborty、Mingxing Tan、Glenn Fung、Yin Li 和 Vikas Singh 等人在論文 Nyströmformer: A Nyström-Based Algorithm for Approximating Self-Attention 中提出。

論文摘要如下： Transformer 已成為廣泛的自然語言處理任務的強大工具。推動 Transformer 出色性能的關鍵組件是自注意力機制，它編碼了其他標記對每個特定標記的影響或依賴關係。雖然自注意力機制很有用，但它在輸入序列長度上的二次複雜度限制了其在較長序列上的應用，這是該領域正在積極研究的一個課題。為了解決這一限制，我們提出了 Nyströmformer 模型，該模型作為序列長度的函數表現出良好的可擴展性。我們的想法是基於採用 Nyström 方法來近似具有 O(n) 複雜度的標準自注意力機制。Nyströmformer 的可擴展性使其能夠應用於包含數千個標記的較長序列。我們在 GLUE 基準測試和 IMDB 評論的多個下游任務上進行了評估，使用標準序列長度，發現我們的 Nyströmformer 模型表現相當，在某些情況下甚至比標準自注意力機制略好。在 Long Range Arena (LRA) 基準測試的長序列任務中，Nyströmformer 相對於其他高效的自注意力方法表現良好。我們的代碼可在指定的 URL 上獲取。

💻 使用示例

基礎用法

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='uw-madison/nystromformer-512')
>>> unmasker("Paris is the [MASK] of France.")

[{'score': 0.829957902431488,
  'token': 1030,
  'token_str': 'capital',
  'sequence': 'paris is the capital of france.'},
 {'score': 0.022157637402415276,
  'token': 16081,
  'token_str': 'birthplace',
  'sequence': 'paris is the birthplace of france.'},
 {'score': 0.01904447190463543,
  'token': 197,
  'token_str': 'name',
  'sequence': 'paris is the name of france.'},
 {'score': 0.017583081498742104,
  'token': 1107,
  'token_str': 'kingdom',
  'sequence': 'paris is the kingdom of france.'},
 {'score': 0.005948934704065323,
  'token': 148,
  'token_str': 'city',
  'sequence': 'paris is the city of france.'}]